Sillas musicales

El proyecto Musical Chairs y los líderes del equipo Tamar Sella, Jason Wang, Suvin Sundararajan, Peggy Yin y Yiting Huang (Matt Goisman/SEAS)

Cuando nos sentamos en sillas, ¿dejamos algo atrás? Cuando interactuamos con los objetos, ¿se acuerdan de nosotros? Y si esos objetos pudieran transmitirnos sus recuerdos, ¿cómo sonaría?

Estas son algunas de las ideas que Peggy Yin y su organización estudiantil Conflux exploraron en "Musical Chairs", un trío de sillas de madera capaces de grabar y retransmitir señales de audio que se instalaron en Harvard Yard durante ARTS FIRST Week. El proyecto combinó elementos de aprendizaje automático e informática, interpretación musical y carpintería para crear una fusión de arte y tecnología.

"Mi objetivo final es crear un espacio donde las personas puedan tener conversaciones naturales, pero también reflexionar después sobre la forma en que sus palabras y expresiones pueden impactar a otras personas, y darles el tiempo y el espacio para expresarse de manera auténtica y honesta", dijo Yin, Cofundador de Conflux y estudiante de segundo año de neurociencia computacional e historia del arte y la arquitectura. "Siempre me ha interesado cómo la tecnología, específicamente la tecnología de los medios, realmente puede ayudarnos a generar empatía y comprensión entre las personas, y cómo puede aumentar nuestra capacidad para comunicarnos e interpretar las señales de comunicación de otras personas".

El paisaje sonoro de Musical Chairs suena mientras los visitantes de Harvard Yard se sientan. (Unión de los ríos)

Cada silla reproduce música de arpa cuando sensores especializados detectan que alguien está sentado en ella. Los micrófonos captan las conversaciones y luego las computadoras usan algoritmos de aprendizaje automático para extraer datos de audio, como la frecuencia y el tempo de las voces de las personas. Las muestras pregrabadas de las voces de los estudiantes de Harvard se utilizan luego para componer música basada en esos datos, que luego se envían de regreso a los transductores en los reposabrazos de la silla. Al poner un codo en el reposabrazos y una oreja en la mano, el paisaje sonoro musical de conversaciones pasadas se puede escuchar a través de la conducción ósea.

"Algunas personas que vinieron antes se sentaron y conversaron, y realmente me encantó que permitieran que el paisaje sonoro simplemente ocurriera", dijo Yin. "Al final, uno de ellos dijo que era realmente relajante y que deseaba tener uno en su casa. Haber tenido una conversación completamente normal mientras escuchaban la música y luego decir eso, realmente me demostró que estaban permitiendo la música para apoyar su conversación de una manera positiva sin interrumpirla".

La líder del proyecto Musical Chairs, Peggy Yin, en el centro, demuestra la técnica de conducción ósea frente a los líderes del equipo Tamar Sella y Jason Wang en Harvard Yard. (Matt Goisman/MARES)

Mientras se construía la silla, los estudiantes de la Escuela de Ingeniería y Ciencias Aplicadas John A. Paulson de Harvard (SEAS) lideraron el camino para hacer que el hardware y el software funcionaran. Suvin Sundararajan, un concentrador de bioingeniería, imprimió en 3D los sensores y actuó como líder de hardware, mientras que el estudiante de informática y matemáticas Jason Wang diseñó los algoritmos de aprendizaje automático y la red informática distribuida lo suficientemente potente como para extraer datos de audio en tiempo real.

"Soy un tipo de aprendizaje automático, así que realmente me gusta jugar con este tipo de cosas", dijo Wang. "La parte más desafiante fue descubrir cómo procesar las funciones de audio en tiempo real, porque normalmente requieren mucha computación. Tuvimos que instalar tres MacBook Pro para que funcionara en tiempo real y averiguar cómo comunicar estas funciones a el software que está haciendo la música".

El proyecto de Yin fue seleccionado para una beca de Artes Públicas de la Oficina de las Artes de Harvard. SEAS también ayudó a llevar a cabo el proyecto a través de fondos destinados a organizaciones estudiantiles afiliadas a SEAS a través del grupo de Enseñanza y Aprendizaje. Los sensores y la electrónica también se diseñaron en SEAS. Mientras tanto, se completó el trabajo de la madera y la carpintería en el Taller de Madera de Arte, Cine y Estudios Visuales.

Una mirada a la caja del micrófono central, el hardware y el cableado que permiten el paisaje sonoro de las sillas musicales. (Matt Goisman/MARES)

"Estaba familiarizada con la conducción ósea a través de la madera, y estaba realmente interesada en la idea de un diseño que sea compatible y admita tanto la tecnología como una idea conceptual que se une a través de experiencias de audio y visuales", dijo Tamar Sella, estudiante de segundo año. estudia literatura y arte comparados, cine y estudios visuales, quien dirigió el equipo de diseño y construcción de sillas. "Cada parte de la silla tenía su propio conjunto de problemas que abordar, lo que requirió mucha comunicación entre el equipo de diseño, así como aspectos tecnológicos que debían ser compatibles".

Cofundado por Yin y la estudiante de segundo año Alice Cai este año, Conflux ya ha patrocinado múltiples proyectos en el Complejo de Ciencias e Ingeniería. El grupo organizó una instalación de arte multimedia interactiva llamada "Interfaces liminales" durante la sesión de invierno, y el otoño pasado se asoció con hAR/VRd para crear la "Red nerviosa", que combinó monitores cardíacos, tiras de luces LED y auriculares de realidad virtual para representar cómo el el cuerpo humano reacciona al miedo.

"'Musical Chairs' se redujo a esta idea de cómo creamos un entorno que invita a las personas a inclinarse, pero también a tomarse el tiempo para reflexionar y asomarse", dijo Yin. "Queríamos crear un ambiente para el discurso".

Temas:REEF Makerspace, inteligencia artificial/aprendizaje automático, informática, ingeniería eléctrica, ciencia de los materiales e ingeniería mecánica, organizaciones estudiantiles

Únase a la lista de correo de Harvard SEAS.

mate goisman | [email protected]

Miembro de la facultad honrado por tutoría inigualable y enseñanza altamente calificada

Premios, Informática

Imágenes de la graduación número 372 de Harvard el jueves 25 de mayo

Académicos, Matemáticas Aplicadas, Física Aplicada, Bioingeniería, Informática, Ingeniería Eléctrica, Ciencias e Ingeniería Ambientales, Ciencia de Materiales e Ingeniería Mecánica

Walsh Lab se acerca a los estudiantes de secundaria locales

Académicos, bioingeniería, K-12, ciencia de materiales e ingeniería mecánica