El robot con cámara Stargazer interactivo ayuda a filmar videos educativos

Un grupo de informáticos de la Universidad de Toronto quiere facilitar la grabación de vídeos instructivos.

equipo de investigadores Modo de observación de estrellasun bot de cámara interactivo que ayuda a los profesores universitarios y otros creadores de contenido a crear videos educativos atractivos que demuestran habilidades físicas.

Para aquellos que no tienen acceso a un fotógrafo, Stargazer puede capturar videos tutoriales dinámicos y abordar las limitaciones de trabajar con cámaras fijas.

“El robot está ahí para ayudar a los humanos, pero no para reemplazarlos”, explica el investigador principal. Jiana Leeestudiante de doctorado en el Departamento de Ciencias de la Computación de la Facultad de Artes y Ciencias de la Universidad de Texas.

«Los instructores están aquí para enseñar. El papel del robot es ayudar con los disparos, el trabajo pesado».

El trabajo del astrónomo se describe en el archivo. artículo publicado Este año presenté en la Conferencia de la Asociación de Maquinaria de Computación sobre Factores Humanos en Sistemas de Computación, una conferencia internacional líder en interacción humano-computadora.

Los coautores de Lee incluyen miembros de U of T proyecto de gráficos dinámicos Laboratorio DGP: Investigador Postdoctoral mauricio souzay estudiantes de doctorado Karthik Mahadeván Y brian wangSeñor Ravin Balakrishnan y profesor asociado Murió Grossman; Y también profesor asociado. antonio espiga (mediante cita con la Facultad de Comunicación Masiva); Paula Akemi Oyawie y Nicole Yu, recién graduadas en Comunicación Masiva de la Universidad de Texas; y la estudiante de tercer año de ingeniería informática Angela Yang.

Un participante del estudio utiliza la cámara robot interactiva Stargazer para grabar un video instructivo sobre el mantenimiento de la patineta (foto adjunta)

Stargazer usa una sola cámara en un brazo robótico, con siete actuadores independientes que pueden moverse junto con el sujeto del video al rastrear áreas de interés de manera independiente. Los comportamientos de la cámara del sistema se pueden modificar en función de las señales sutiles de los entrenadores, como los movimientos corporales, los gestos y el habla detectados por los sensores del prototipo.

La voz del maestro se graba con un micrófono inalámbrico y se envía a Microsoft Azure Speech-to-Text, un software de reconocimiento de voz. Luego, el texto escrito se envía, junto con un mensaje personalizado, a un programa GPT-3, un modelo de lenguaje grande que define la intención del maestro para la cámara, como ángulo estándar versus ángulo alto y marco normal versus marco más estrecho.

Los investigadores dicen que estos comandos de control de la cámara son señales que los maestros usan naturalmente para dirigir la atención de su audiencia y no interrumpir la entrega de instrucciones.

Por ejemplo, un profesor puede hacer que Stargazer ajuste su vista para ver cada una de las herramientas que usará durante el tutorial apuntando a cada una de ellas, haciendo que la cámara se desplace a su alrededor. El maestro también puede decirles a los espectadores: «Si miran cómo se coloca A en B desde arriba, Stargazer responderá enmarcando la acción en un ángulo alto para que la audiencia tenga una mejor vista».

Al diseñar el vocabulario de interacción, el equipo quería identificar señales sutiles y evitar la necesidad de que el maestro se comunique por separado con el robot mientras habla con los estudiantes o una audiencia.

“El objetivo es hacer que el robot entienda en tiempo real qué tipo de tiro quiere el entrenador”, dice Lee. «La parte importante de este objetivo es que queremos que este vocabulario sea discreto. Debería sentirse como si encajara en el tutorial».

Las capacidades de Stargazer se probaron en un estudio que involucró a seis instructores, cada uno enseñando una habilidad distinta para crear videos instructivos dinámicos.

Usando el robot, pudieron producir videos que mostraban tareas físicas en una variedad de temas, desde el mantenimiento de la patineta hasta la creación de esculturas interactivas y la configuración de auriculares de realidad virtual, mientras confiaban en el robot para rastrear al sujeto y enmarcar la cámara y ángulo de la cámara. conjuntos

Cada uno de los participantes recibió una sesión de capacitación y completó sus lecciones en dos rondas. Los investigadores informaron que todos los participantes pudieron crear videos sin necesidad de controles adicionales a los proporcionados por la cámara robótica y estaban satisfechos con la calidad de los videos producidos.

Si bien el rango de posiciones de la cámara del Stargazer es suficiente para actividades de escritorio, el equipo está interesado en explorar el potencial de las cámaras de drones y los robots sobre ruedas para ayudar con las misiones de imágenes en entornos más grandes desde una variedad de ángulos.

También encontraron que algunos participantes del estudio intentaron disparar tomas de objetos al dar o mostrar objetos a la cámara, que no estaba entre las señales que Stargazer reconoce actualmente. La investigación futura podría buscar formas de detectar intenciones diversas y sutiles mediante la combinación de señales simultáneas de la mirada, la postura y el habla del maestro, lo que, según Lee, es un objetivo a largo plazo en el que el equipo está progresando.

Si bien el equipo ofrece el Stargazer como una opción para aquellos que no tienen acceso a equipos de filmación profesionales, los investigadores admiten que el prototipo de cámara robótica se basa en un costoso brazo robótico y una serie de sensores externos. Sin embargo, Lee señala que el concepto Stargazer no se limita necesariamente a tecnología costosa.

«Creo que existe un mercado real para los equipos de imágenes robóticas, incluso a nivel de consumidor. Stargazer está expandiendo esta área, pero espera con un poco más de autonomía y un poco más de interactividad. Siendo realistas, podría estar disponible para los consumidores». él dice.

Lee dice que el equipo está entusiasmado con las posibles ofertas de Stargazer para una mayor colaboración entre humanos y robots.

«Para que los robots trabajen junto a los humanos, la clave es que los robots entiendan mejor a los humanos. Aquí, estamos analizando este vocabulario, que es el comportamiento de comunicación humano típico», explica.

«Esperamos inspirar a otros a buscar la comprensión de cómo se comunican los humanos… y cómo los robots pueden captar eso y tener una reacción apropiada, como comportamientos de ayuda».