Simulación de interacción humano-robot basada en la mirada en entornos virtuales
Contenido principal del artículo
- Elisabeth Menéndez Salvador+−
- Santiago Martínez de la Casa Díaz+−
- Concepción Alicia Monje Micharet+−
- Carlos Balaguer Bernaldo de Quirós+−
Resumen
Este artículo presenta un nuevo método de interacción humano-robot mediante el seguimiento de la mirada en entornos virtuales. Este enfoque reproduce aplicaciones reales en las que el usuario, equipado con gafas de seguimiento ocular, indica al robot qué objetos necesita fijando su mirada. Esta interacción se ha implementado en el simulador Gazebo, donde el usuario controla una cámara flotante con un mando. La cámara flotante imita la vista que ofrecen las gafas de seguimiento ocular y muestra esta perspectiva en la pantalla situada frente al usuario. Además, se instala una cámara dirigida hacia su rostro para determinar la zona de la pantalla que está observando. Utilizando esta información en el método de identificación del umbral de dispersión, se distingue eficazmente entre fijaciones y movimientos sacádicos de la mirada. Los experimentos preliminares realizados demuestran que el sistema es capaz de identificar el objeto en el que el usuario fija su mirada en entornos virtuales.
Palabras clave:
Detalles del artículo
Citas
Abal-Fernández, S., Caramazana-Zarzosa, C., Loureiro-Casalderrey, M. B., Martínez, S., Balaguer, C., Díaz-de María, F., González-Díaz, I., 2023. Learning rl policies for anticipative assistive robots by simulating human-robot interactions in real scenarios using egocentric videos. In: 2023 IEEE International Conference on Robotics and Biomimetics (ROBIO). pp. 1–8. DOI: 10.1109/ROBIO58561.2023.10354837
Falch, L., Lohan, K. S., 2024. Webcam-based gaze estimation for computer screen interaction. Frontiers in Robotics and AI 11, 1369566. Haustein, J. A., Hang, K., Stork, J., Kragic, D., 2019. Object placement planning and optimization for robot manipulators. In: 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, pp. 7417–7424.
Haustein, J. A., Hang, K., Stork, J., Kragic, D., 2019. Object placement plan-ning and optimization for robot manipulators. In: 2019 IEEE/RSJ Interna-tional Conference on Intelligent Robots and Systems (IROS). IEEE, pp.7417–7424.
Koenig, N., Howard, A., 2004. Design and use paradigms for gazebo, an open-source multi-robot simulator. In: 2004 IEEE/RSJ international conference on intelligent robots and systems (IROS)(IEEE Cat. No. 04CH37566). Vol. 3. Ieee, pp. 2149–2154.
Koubâa, A., et al., 2017. Robot Operating System (ROS). Vol. 1. Springer.
Menéndez, E., Martínez, S., Balaguer, C., 2024. Selección y agarre robótico de objetos basada en el seguimiento de la mirada. In: Actas del Simposio de Robótica, Bioingeniería y Visión por Computador. Universidad de Extremadura, Servicio de Publicaciones, pp. 127–131.
Menéndez, E., Martínez, S., Díaz-de María, F., Balaguer, C., 2024. Integrating egocentric and robotic vision for object identification using Siamese networks and superquadric estimations in partial occlusion scenarios. Biomimetics 9 (2).
Pages, J., Marchionni, L., Ferro, F., 2016. Tiago: the modular robot that adapts to different research needs. In: International workshop on robot modularity, IROS. Vol. 290.
Pannasch, S., Helmert, J. R., Roth, K., Herbold, A.-K., Walter, H., 2008. Visual fixation durations and saccade amplitudes: Shifting relationship in a variety of conditions. Journal of Eye Movement Research 2 (2).
Redmon, J., Divvala, S., Girshick, R., Farhadi, A., 2016. You only look once: Unified, real-time object detection. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 779–788.
Salvucci, D. D., Goldberg, J. H., 2000. Identifying fixations and saccades in eye-tracking protocols. In: Proceedings of the 2000 symposium on Eye tracking research & applications. pp. 71–78.
Saran, A., Majumdar, S., Thomaz, A., Niekum, S., 2018. Real-time human gaze following for human-robot interaction. In: Proceedings of the International Conference on Human Robot Interaction.
Valtakari, N. V., Hooge, I. T., Viktorsson, C., Nystr¨om, P., Falck-Ytter, T., Hessels, R. S., 2021. Eye tracking in human interaction: Possibilities and limitations. Behavior Research Methods, 1–17.