Robotic Navigation driven via smart glasses and Natural Language Command

Assistive mobility devices play a central role in supporting people affected by motor instability, yet most robotic walkers still rely on physical controls or predefined trajectories that limit the autonomy and the intuitiveness of the interaction. This thesis presents Easy Walk, a robotic walker designed to be guided through natural language commands issued by the user and inter preted by means of wearable smart glasses. The proposed system integrates Meta Aria Gen 1 Research glasses with the robotic platform, allowing the user to express navigation goals in spoken natural language. The voice stream captured by the glasses is transcribed through an automatic speech recognition stage and inter preted by a large language model, which maps the request to a semantic target. The target is associated with an object class detected in the environment and converted into a navigation goal for the Nav2 stack, enabling the walker to reach the desired destination autonomously while preserving safe and compliant physical interaction through admittance control. The platform is implemented as a distributed ROS2 system. Sensor acquisition nodes run on a Jetson Nano placed on board the walker, while the computationally intensive compo nents, including SLAM Toolbox for mapping and localization, the smart glasses pipeline, and monocular depth estimation based on DepthAnything, are executed on a laptop equipped with an NVIDIA RTX 5070. Environmental perception is provided by a Livox MID-360 LiDAR, while motion is actuated through ODrive motor controllers. Odometry is estimated by combin ing the wheel velocities measured by the motor controllers with the inclination provided by an inertial measurement unit. The thesis describes the design, the architecture, and the integration of these components, with particular emphasis on the interaction between the smart glasses and the navigation subsys tem. An experimental evaluation of the navigation accuracy, the responsiveness of the voice pipeline, the accuracy of the object detection and the overall usability of the system was exe cuted, showing that the system is reliable and usable in a classic indoor environment

I dispositivi di mobilità assistiva svolgono un ruolo centrale nel supportare le persone affette da instabilità motoria, tuttavia la maggior parte dei deambulatori robotici si basa ancora su comandi fisici o traiettorie predefinite che limitano l'autonomia e l'intuitività dell'interazione. Questa tesi presenta Easy Walk, un deambulatore robotico progettato per essere guidato tramite comandi in linguaggio naturale impartiti dall'utente e interpretati tramite occhiali intelligenti indossabili. Il sistema proposto integra gli occhiali Meta Aria Gen 1 Research con la piattaforma robotica, consentendo all'utente di esprimere gli obiettivi di navigazione in linguaggio naturale parlato. Il flusso vocale catturato dagli occhiali viene trascritto attraverso una fase di riconoscimento vocale automatico e interpretato da un ampio modello linguistico, che mappa la richiesta a un target semantico. Il target viene associato a una classe di oggetti rilevata nell'ambiente e convertito in un obiettivo di navigazione per lo stack Nav2, consentendo al deambulatore di raggiungere autonomamente la destinazione desiderata, preservando al contempo un'interazione fisica sicura e conforme tramite il controllo di ammissione. La piattaforma è implementata come un sistema distribuito ROS2. I nodi di acquisizione dei sensori vengono eseguiti su un Jetson Nano posizionato a bordo del robot, mentre i componenti computazionalmente intensivi, tra cui SLAM Toolbox per la mappatura e la localizzazione, la pipeline degli occhiali intelligenti e la stima della profondità monoculare basata su DepthAnything, vengono eseguiti su un laptop dotato di una NVIDIA RTX 5070. La percezione ambientale è fornita da un LiDAR Livox MID-360, mentre il movimento è azionato tramite controller motori ODrive. L'odometria viene stimata combinando le velocità delle ruote misurate dai controller motori con l'inclinazione fornita da un'unità di misura inerziale. La tesi descrive la progettazione, l'architettura e l'integrazione di questi componenti, con particolare enfasi sull'interazione tra gli occhiali intelligenti e il sottosistema di navigazione. È stata eseguita una valutazione sperimentale dell'accuratezza della navigazione, della reattività della pipeline vocale, dell'accuratezza del rilevamento degli oggetti e dell'usabilità complessiva del sistema, dimostrando che il sistema è affidabile e utilizzabile in un classico ambiente interno.