Posted by Un camino más barato y ecológico hacia la IA
Artículo original: Small language models: A cheaper, greener route into AI, Libing Wang and Tianchong Wang (March 2024), University World News https://bit.ly/4esrdpm
(traducción libre: Jaime Oyarzo)
A pesar del escepticismo y la cautela iniciales, los sistemas e instituciones de educación superior han acogido con satisfacción los beneficios de la IA generativa. Sin embargo, es imperativo reconocer sus desventajas. La utilización de los grandes modelos lingüísticos (large language models LLM), requiere importantes recursos de energía e infraestructura, lo que plantea desafíos para la sostenibilidad ecológica y adaptación de la incorporación de la IA en la educación superior.
- Los Modelos lingüísticos pequeños (Small language models SLM) ofrecen una alternativa más ecológica a los LLM para integrar la IA generativa en la educación superior, debido a su menor consumo de energía y su reducido impacto ambiental.
- Tienen potencial como herramientas de IA en temas específicos para apoyar las actividades de enseñanza, aprendizaje e investigación en la educación superior.
Caracterizados por arquitecturas de sistemas simplificadas con parámetros y conjuntos de datos de entrenamiento reducidos, las introducciones recientes de SLM como Microsoft Phi-2 y Google Gemini Nano demuestran ser modelos lingüísticos competentes y notablemente más pequeños en escala en comparación con sus homólogos de LLM.
El diseño simplificado de los SLM les permite funcionar de manera eficaz en plataformas de hardware menos sólidas, ya que utilizan solo una fracción de la energía que normalmente se necesita. Además, estos SLM se pueden implementar fácilmente a nivel local, lo que mejora la accesibilidad y reduce la necesidad de un amplio soporte de infraestructura.
Si bien es posible que los SLM sigan necesitando alcanzar el mismo nivel de rendimiento que los LLM a la hora de gestionar tareas muy complejas, la evidencia preliminar indica que pueden ofrecer resultados comparables en tareas más limitadas si se les capacita y ajusta adecuadamente. Este atributo hace que la tecnología sea particularmente adecuada para aplicaciones específicas de la industria dentro de dominios de conocimiento claramente definidos.
En consecuencia, se han iniciado iniciativas experimentales destinadas a incorporar las SLM en varios sectores, que abarcan los servicios legales, médicos y financieros.
El ámbito de la educación superior se perfila como otro ámbito en el que las SLM, que funcionan como herramientas de IA generativa especializadas, podrían tener un impacto significativo. Una vez formados en conjuntos de datos específicos de una asignatura o tarea y equipados con algoritmos personalizados, estos modelos pueden servir como recursos inestimables para apoyar las iniciativas educativas, de aprendizaje y de investigación.
Algunas de las principales ventajas de los SLM
Reducir las huellas de carbono
- Las instituciones de educación superior pueden beneficiarse del menor consumo de energía, ofreciendo una opción de bajas emisiones y reforzando el compromiso con la sostenibilidad.
- Esencial para las instituciones que buscan una integración ambientalmente sostenible de la IA generativa.
Reducir la brecha digital
- En áreas y países caracterizados por la escasez de infraestructura y recursos digitales, Las necesidades mínimas de recursos de los SLM tienen el potencial de ampliar su alcance a una base de usuarios diversa. Este alentador nivel de accesibilidad tiene la capacidad de mitigar la brecha digital y promover un acceso justo a la tecnología de inteligencia artificial en el ámbito de la educación superior.
- Los SLM pueden inspirar a estos países a crear herramientas locales de IA y fomentar ecosistemas de apoyo, promoviendo el talento autóctono de IA y oportunidades de empleo.
Protección de la privacidad y la seguridad de los datos
- La adaptabilidad de los SLM para la implementación in situ, permite a las instituciones ejercer un mayor control sobre la utilización de los datos. Esto resulta especialmente crucial para las aplicaciones de inteligencia artificial que utilizan datos de los estudiantes y otra información confidencial.
- Cuando se entrenan y optimizan adecuadamente con conjuntos de datos pertinentes, los SLM se convierten en potentes instrumentos. Para aprovechar esta capacidad, las instituciones de educación superior deben establecer marcos globales para la gestión de datos que abarquen los niveles institucional, docente, temático y programático. Esta estructura es indispensable para facilitar la formación eficiente de los SLM, que se adaptan a determinadas materias o tareas.
Promoción del aprendizaje personalizado
- A diferencia de los LLM más genéricos y versátiles, los SLM pueden capacitarse en conjuntos de datos adaptados a campos de estudio o modalidades de enseñanza específicos, lo que conduce a resultados más pertinentes a las necesidades de los alumnos y pueden mejorar directamente la alineación con los objetivos de aprendizaje.
- Los SLM tienen la capacidad de abordar de manera eficaz el aprendizaje personalizado, la corrección de textos, la ayuda a la investigación y la creación de contenido. Los estudiantes pueden percibir estas herramientas como un repositorio completo de publicaciones indispensables y también pueden llegar a considerarlos mentores informados y complementarios capaces de brindar un apoyo experto y personalizado.
- Para los profesores universitarios, los SLM representan una oportunidad para simplificar tareas que requieren mucha mano de obra, lo que permite optimizar los modelos para fines específicos. Además, los SLM también pueden funcionar como colaboradores cruciales para promover la pedagogía y fomentar la innovación.
- La tutoría y la supervisión podrían llegar a más estudiantes utilizando herramientas SLM basadas en asignaturas o tareas específicas, especialmente en instituciones con reducido personal. A medida que evolucionan, las herramientas de gestión del aprendizaje en línea tienen un gran potencial para informar, apoyar y promover los recursos educativos abiertos, facilitando así una mayor difusión del conocimiento entre instituciones y estudiantes.
Enfoque estratégico para los SLM
- Los SLM no deben considerarse sustitutos de los LLM, sino herramientas complementarias. Cada una de ellas tiene puntos fuertes únicos y se adapta bien a fines específicos. En consecuencia, las instituciones pueden optimizar la asignación de recursos invirtiendo en una serie de GST especializados y adaptados a necesidades y objetivos específicos, en lugar de depender de un único y difícil de manejar LLM para todos los fines.
Algunas conclusiones
- Las instituciones de educación superior deben considerar un enfoque integral, que incorpore tanto los LLM como los SLM y, al mismo tiempo, dar prioridad a la sostenibilidad y la integración intencionada de la IA. Por ejemplo, la utilización de los LLM puede ser crucial para la investigación compleja o multidisciplinaria, mientras que los SLM pueden demostrar su competencia en tareas específicas de ciertos campos y aplicaciones comunes.
- Al delinear e integrar estos diversos escenarios, las instituciones de educación superior pueden aprovechar la capacidad transformadora de la IA y, al mismo tiempo, mitigar su impacto ambiental. A medida que las capacidades de los modelos progresan, es imprescindible evaluar periódicamente los casos de uso adecuados para garantizar que los enfoques de integración se modifiquen en consecuencia.
- Como se destaca en la declaración del reciente debate de la UNESCO en Asia y el Pacífico sobre la IA generativa y la educación (2023), las instituciones de educación superior deben fomentar una cultura que defienda el despliegue responsable y ético de la IA. Esto implica promover la comprensión de que las consecuencias ambientales de las solicitudes, consultas y resultados de contenido generativo se ven afectadas por variables como el tamaño del modelo, la eficacia y el uso general.