Aprendizaje auto-supervisado con contextssl
Al aprovechar modelos mundiales y transformadores, une la brecha entre la adaptabilidad humana y la inteligencia artificial, allanando el camino para algoritmos más justos y eficientes.
El aprendizaje auto-supervisado (SSL), un paradigma ascendente en el aprendizaje automático, está remodelando cómo aprenden los modelos sin datos etiquetados.Los métodos SSL tradicionalmente se basan en aumentos de datos predefinidos, impulsando la invariancia o la equivalencia a transformaciones específicas.Sin embargo, estos antecedentes inductivos a menudo limitan la flexibilidad en diversas tareas.
Un enfoque llamado aprendizaje contextual auto-supervisado (contextssl), desarrollado por investigadores de CSAIL del MIT y la Universidad Técnica de Munich, aborda estas limitaciones.ContextSSL introduce un mecanismo en el que las representaciones se adaptan dinámicamente en función de los contextos específicos de la tarea, eliminando la necesidad de reentrenamiento repetitivo.En su núcleo, ContextSSL incorpora modelos mundiales, representaciones de inicio del entorno de un agente, y utiliza un módulo de transformador para codificarlos como secuencias de tripletes de estado de acción estatal.Al asistir al contexto, el modelo determina cuándo hacer cumplir la invariancia o la equivariancia, dependiendo de los requisitos de la tarea.
A través de pruebas extensas en puntos de referencia como 3Diebench y CIFAR-10, ContextSSL demostró una notable versatilidad.Por ejemplo, en el dominio médico, utilizando el conjunto de datos MIMIC-III, ContextSSL adaptó su representación a tareas de diagnóstico médico específicos de género, donde la equivariancia era crítica.Simultáneamente, aseguró la equidad en la predicción de resultados como la duración del hospital, enfatizando la invariancia.
Esta adaptabilidad garantiza un mejor rendimiento entre métricas como las probabilidades igualadas (EO) e igualdad de oportunidades (EOPP), al tiempo que mejora la precisión de la predicción para atributos sensibles como el género.Al aprovechar los modelos de transformadores para el aprendizaje en contexto, ContextSSL equilibra efectivamente la invariancia y la equivalencia de una manera específica de la tarea.Este es un paso significativo para crear marcos SSL de uso general más flexible.Con contextssl, el futuro del aprendizaje automático promete algoritmos más eficientes y adaptativos, uniendo brechas entre el razonamiento humano y la inteligencia artificial.
"En lugar de ajustar modelos para cada tarea, nuestro objetivo es crear un sistema de propósito general capaz de adaptarse a varios entornos, similar al aprendizaje humano", dice Sharut Gupta, CSAIL Ph.D.Estudiante y autor principal del estudio.