Descripción general

AISAR es un programa presencial, part-time, pensado y diseñado para dar a estudiantes una oportunidad de incursionar en AI Safety. Más concretamente, se espera que cada participante trabaje en un proyecto de investigación en un tema específico de AI Safety durante 6 meses. El compromiso de tiempo esperado para los becarios es de 20 horas por semana.

Perfil de los becarios

En esta primera edición del programa, buscamos estudiantes avanzados o recientemente graduados de las carreras de Licenciatura en Ciencias de la Computación o Licenciatura en Ciencia de Datos de Exactas-UBA.

Serán consideradas positivamente las siguientes características:

• Sólida formación académica que evidencie un profundo conocimiento en su área de estudio en relación a la temática de la beca.
• Experiencia previa o marcado interés en participar en proyectos de investigación vinculados a la Inteligencia Artificial (IA) y/o el Aprendizaje Automático.
• Capacidad para comprender e incorporar rápidamente conceptos técnicos avanzados del estado del arte en IA.
• Conocimientos previos o fuerte motivación por contribuir a AI Safety, en particular a la mitigación de riesgos catastróficos asociados con el desarrollo y despliegue de sistemas de IA autónomos avanzados.
• Demostrar fortalezas técnicas en disciplinas de las Cs. de la Computación o Cs. de Datos que, con la orientación adecuada, puedan contribuir a la investigación o el desarrollo de enfoques orientados a la reducción de riesgos en sistemas de IA.
• Tener un manejo de inglés adecuado para la lectura de artículos académicos y para participar de seminarios con investigadores internacionales en AI Safety.

Si bien el perfil está orientado principalmente a estudiantes avanzados o graduados recientes en Computación y Datos, también estamos abiertos a considerar otras disciplinas afines en casos excepcionales. Si este es tu caso, te pedimos que incluyas una nota contándonos por qué creés que tu perfil es adecuado para esta convocatoria.

Temas de investigación

Los temas de cada proyecto de investigación se seleccionarán en base a la disponibilidad de mentores y a la alineación con las agendas de AI Safety, algunas de las cuales son:

• Interpretabilidad: Desarrollo de métodos para entender y explicar el comportamiento interno y externo de los modelos de IA, ya sea a través de ingeniería inversa de su arquitectura, análisis de metas o valores implícitos en su comportamiento, evaluación de la fidelidad de sus procesos de razonamiento, o estudio de sus sesgos inductivos.
• Evaluaciones: Construir pruebas sistemáticas, tanto conductuales como mecanísticas, para detectar capacidades peligrosas, propensiones dañinas y la robustez de las medidas de seguridad, creando “puertas” basadas en evidencia que determinen si y cómo un modelo puede escalarse o desplegarse.
• Supervisión / Control escalable: Diseñar técnicas como la descomposición de tareas, la supervisión de procesos, el debate, la amplificación iterada y las “evaluaciones de control” adversarias que permitan a los humanos (o a IAs más débiles) monitorear y restringir modelos mucho más capaces, incluso cuando éstos intentan eludir las salvaguardas.
• Gobernanza: Estudio y diseño de políticas, regulaciones, instituciones, y mecanismos técnicos y de coordinación para evitar o morigerar dinámicas dañinas en el desarrollo de IA avanzada (como ser trampas multipolares, maldición unilateralista, proliferación de capacidades peligrosas, etc.)
• Agencia de la IA: Desarrollar una teoría matemática más profunda de la agencia, la optimización, la corregibilidad (capacidad de un agente para aceptar correcciones externas sin resistirlas ni intentar evitarlas) y la toma de decisiones embebida, a fin de sustentar las estrategias de alineamiento en principios válidos incluso para agentes radicalmente superhumanos.
• IA segura por diseño: Se refiere a sistemas de IA diseñados para operar de manera segura, con garantías formales y verificables de que evitarán resultados perjudiciales. Asegura que la IA cumpla consistentemente con los estándares de seguridad a través de una verificación rigurosa, en lugar de depender únicamente de pruebas.

También se tendrá como referencia las agendas y proyectos de AI Safety definidos en otros programas o instituciones de financiamiento:

• Áreas de investigación de Constellation
• Proyectos presentados por mentores de MATS
• Proyectos presentados por mentores de PIBBSS
• Proyectos del programa SPAR
• Open Philanthropy's llamado para Research Funding Proposals

Preguntas frecuentes