{"id":224,"date":"2024-06-14T12:25:09","date_gmt":"2024-06-14T10:25:09","guid":{"rendered":"https:\/\/edunet.uah.es\/wp\/ia\/?p=224"},"modified":"2024-06-18T12:31:37","modified_gmt":"2024-06-18T10:31:37","slug":"modelos-linguisticos-pequenos-small-language-models-slm-en-la-educacion-superior","status":"publish","type":"post","link":"https:\/\/edunet.uah.es\/wp\/ia\/?p=224","title":{"rendered":"Modelos ling\u00fc\u00edsticos peque\u00f1os (Small language models SLM) en la educaci\u00f3n superior"},"content":{"rendered":"\n

Un camino m\u00e1s barato y ecol\u00f3gico hacia la IA<\/h3>\n\n\n\n

Art\u00edculo original: Small language models: A cheaper, greener route into AI, Libing Wang and Tianchong Wang (March 2024), University World News https:\/\/bit.ly\/4esrdpm<\/a><\/strong>
(traducci\u00f3n libre: Jaime Oyarzo)<\/h6>\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n

A pesar del escepticismo y la cautela iniciales, los sistemas e instituciones de educaci\u00f3n superior han acogido con satisfacci\u00f3n los beneficios de la IA generativa. Sin embargo, es imperativo reconocer sus desventajas. La utilizaci\u00f3n de los grandes modelos ling\u00fc\u00edsticos (large language models LLM), requiere importantes recursos de energ\u00eda e infraestructura, lo que plantea desaf\u00edos para la sostenibilidad ecol\u00f3gica y adaptaci\u00f3n de la incorporaci\u00f3n de la IA en la educaci\u00f3n superior.<\/p>\n\n\n\n

    \n
  • Los Modelos ling\u00fc\u00edsticos peque\u00f1os (Small language models SLM) ofrecen una alternativa m\u00e1s ecol\u00f3gica a los LLM para integrar la IA generativa en la educaci\u00f3n superior, debido a su menor consumo de energ\u00eda y su reducido impacto ambiental.<\/li>\n\n\n\n
  • Tienen potencial como herramientas de IA en temas espec\u00edficos para apoyar las actividades de ense\u00f1anza, aprendizaje e investigaci\u00f3n en la educaci\u00f3n superior.<\/li>\n<\/ul>\n\n\n\n

    Caracterizados por arquitecturas de sistemas simplificadas con par\u00e1metros y conjuntos de datos de entrenamiento reducidos, las introducciones recientes de SLM como Microsoft Phi-2 y Google Gemini Nano demuestran ser modelos ling\u00fc\u00edsticos competentes y notablemente m\u00e1s peque\u00f1os en escala en comparaci\u00f3n con sus hom\u00f3logos de LLM.<\/p>\n\n\n\n

    El dise\u00f1o simplificado de los SLM les permite funcionar de manera eficaz en plataformas de hardware menos s\u00f3lidas, ya que utilizan solo una fracci\u00f3n de la energ\u00eda que normalmente se necesita. Adem\u00e1s, estos SLM se pueden implementar f\u00e1cilmente a nivel local, lo que mejora la accesibilidad y reduce la necesidad de un amplio soporte de infraestructura.<\/p>\n\n\n\n

    Si bien es posible que los SLM sigan necesitando alcanzar el mismo nivel de rendimiento que los LLM a la hora de gestionar tareas muy complejas, la evidencia preliminar indica que pueden ofrecer resultados comparables en tareas m\u00e1s limitadas si se les capacita y ajusta adecuadamente. Este atributo hace que la tecnolog\u00eda sea particularmente adecuada para aplicaciones espec\u00edficas de la industria dentro de dominios de conocimiento claramente definidos.<\/p>\n\n\n\n

    En consecuencia, se han iniciado iniciativas experimentales destinadas a incorporar las SLM en varios sectores, que abarcan los servicios legales, m\u00e9dicos y financieros.<\/p>\n\n\n\n

    El \u00e1mbito de la educaci\u00f3n superior se perfila como otro \u00e1mbito en el que las SLM, que funcionan como herramientas de IA generativa especializadas, podr\u00edan tener un impacto significativo. Una vez formados en conjuntos de datos espec\u00edficos de una asignatura o tarea y equipados con algoritmos personalizados, estos modelos pueden servir como recursos inestimables para apoyar las iniciativas educativas, de aprendizaje y de investigaci\u00f3n.<\/p>\n\n\n\n

    Algunas de las principales ventajas de los SLM<\/h3>\n\n\n\n

    Reducir las huellas de carbono<\/h4>\n\n\n\n
      \n
    • Las instituciones de educaci\u00f3n superior pueden beneficiarse del menor consumo de energ\u00eda, ofreciendo una opci\u00f3n de bajas emisiones y reforzando el compromiso con la sostenibilidad.<\/li>\n\n\n\n
    • Esencial para las instituciones que buscan una integraci\u00f3n ambientalmente sostenible de la IA generativa.<\/li>\n<\/ul>\n\n\n\n

      Reducir la brecha digital<\/h4>\n\n\n\n
        \n
      • En \u00e1reas y pa\u00edses caracterizados por la escasez de infraestructura y recursos digitales, Las necesidades m\u00ednimas de recursos de los SLM tienen el potencial de ampliar su alcance a una base de usuarios diversa. Este alentador nivel de accesibilidad tiene la capacidad de mitigar la brecha digital y promover un acceso justo a la tecnolog\u00eda de inteligencia artificial en el \u00e1mbito de la educaci\u00f3n superior.<\/li>\n\n\n\n
      • Los SLM pueden inspirar a estos pa\u00edses a crear herramientas locales de IA y fomentar ecosistemas de apoyo, promoviendo el talento aut\u00f3ctono de IA y oportunidades de empleo.<\/li>\n<\/ul>\n\n\n\n

        Protecci\u00f3n de la privacidad y la seguridad de los datos<\/h4>\n\n\n\n
          \n
        • La adaptabilidad de los SLM para la implementaci\u00f3n in situ, permite a las instituciones ejercer un mayor control sobre la utilizaci\u00f3n de los datos. Esto resulta especialmente crucial para las aplicaciones de inteligencia artificial que utilizan datos de los estudiantes y otra informaci\u00f3n confidencial.<\/li>\n<\/ul>\n\n\n\n
            \n
          • Cuando se entrenan y optimizan adecuadamente con conjuntos de datos pertinentes, los SLM se convierten en potentes instrumentos. Para aprovechar esta capacidad, las instituciones de educaci\u00f3n superior deben establecer marcos globales para la gesti\u00f3n de datos que abarquen los niveles institucional, docente, tem\u00e1tico y program\u00e1tico. Esta estructura es indispensable para facilitar la formaci\u00f3n eficiente de los SLM, que se adaptan a determinadas materias o tareas.<\/li>\n<\/ul>\n\n\n\n

            Promoci\u00f3n del aprendizaje personalizado<\/h4>\n\n\n\n
              \n
            • A diferencia de los LLM m\u00e1s gen\u00e9ricos y vers\u00e1tiles, los SLM pueden capacitarse en conjuntos de datos adaptados a campos de estudio o modalidades de ense\u00f1anza espec\u00edficos, lo que conduce a resultados m\u00e1s pertinentes a las necesidades de los alumnos y pueden mejorar directamente la alineaci\u00f3n con los objetivos de aprendizaje.<\/li>\n\n\n\n
            • Los SLM tienen la capacidad de abordar de manera eficaz el aprendizaje personalizado, la correcci\u00f3n de textos, la ayuda a la investigaci\u00f3n y la creaci\u00f3n de contenido. Los estudiantes pueden percibir estas herramientas como un repositorio completo de publicaciones indispensables y tambi\u00e9n pueden llegar a considerarlos mentores informados y complementarios capaces de brindar un apoyo experto y personalizado.<\/li>\n\n\n\n
            • Para los profesores universitarios, los SLM representan una oportunidad para simplificar tareas que requieren mucha mano de obra, lo que permite optimizar los modelos para fines espec\u00edficos. Adem\u00e1s, los SLM tambi\u00e9n pueden funcionar como colaboradores cruciales para promover la pedagog\u00eda y fomentar la innovaci\u00f3n.<\/li>\n\n\n\n
            • La tutor\u00eda y la supervisi\u00f3n podr\u00edan llegar a m\u00e1s estudiantes utilizando herramientas SLM basadas en asignaturas o tareas espec\u00edficas, especialmente en instituciones con reducido personal. A medida que evolucionan, las herramientas de gesti\u00f3n del aprendizaje en l\u00ednea tienen un gran potencial para informar, apoyar y promover los recursos educativos abiertos, facilitando as\u00ed una mayor difusi\u00f3n del conocimiento entre instituciones y estudiantes.<\/li>\n<\/ul>\n\n\n\n

              Enfoque estrat\u00e9gico para los SLM<\/h4>\n\n\n\n
                \n
              • Los SLM no deben considerarse sustitutos de los LLM, sino herramientas complementarias. Cada una de ellas tiene puntos fuertes \u00fanicos y se adapta bien a fines espec\u00edficos. En consecuencia, las instituciones pueden optimizar la asignaci\u00f3n de recursos invirtiendo en una serie de GST especializados y adaptados a necesidades y objetivos espec\u00edficos, en lugar de depender de un \u00fanico y dif\u00edcil de manejar LLM para todos los fines.<\/li>\n<\/ul>\n\n\n\n

                Algunas conclusiones<\/h2>\n\n\n\n
                  \n
                • Las instituciones de educaci\u00f3n superior deben considerar un enfoque integral, que incorpore tanto los LLM como los SLM y, al mismo tiempo, dar prioridad a la sostenibilidad y la integraci\u00f3n intencionada de la IA. Por ejemplo, la utilizaci\u00f3n de los LLM puede ser crucial para la investigaci\u00f3n compleja o multidisciplinaria, mientras que los SLM pueden demostrar su competencia en tareas espec\u00edficas de ciertos campos y aplicaciones comunes.<\/li>\n\n\n\n
                • Al delinear e integrar estos diversos escenarios, las instituciones de educaci\u00f3n superior pueden aprovechar la capacidad transformadora de la IA y, al mismo tiempo, mitigar su impacto ambiental. A medida que las capacidades de los modelos progresan, es imprescindible evaluar peri\u00f3dicamente los casos de uso adecuados para garantizar que los enfoques de integraci\u00f3n se modifiquen en consecuencia.<\/li>\n\n\n\n
                • Como se destaca en la declaraci\u00f3n del reciente debate de la UNESCO en Asia y el Pac\u00edfico sobre la IA generativa y la educaci\u00f3n (2023), las instituciones de educaci\u00f3n superior deben fomentar una cultura que defienda el despliegue responsable y \u00e9tico de la IA. Esto implica promover la comprensi\u00f3n de que las consecuencias ambientales de las solicitudes, consultas y resultados de contenido generativo se ven afectadas por variables como el tama\u00f1o del modelo, la eficacia y el uso general.<\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"

                  Un camino m\u00e1s barato y ecol\u00f3gico hacia la IA Art\u00edculo original: Small language models: A cheaper, greener route into AI,<\/p>\n","protected":false},"author":1,"featured_media":229,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1,44],"tags":[63,42,61,62],"class_list":["post-224","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-educacion","category-investigacion","tag-educacion-superior","tag-inteligencia-artificial","tag-llm","tag-slm"],"jetpack_featured_media_url":"https:\/\/edunet.uah.es\/wp\/ia\/wp-content\/uploads\/sites\/6\/2024\/06\/SLMvsLLM_100.jpg","_links":{"self":[{"href":"https:\/\/edunet.uah.es\/wp\/ia\/index.php?rest_route=\/wp\/v2\/posts\/224","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/edunet.uah.es\/wp\/ia\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/edunet.uah.es\/wp\/ia\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/edunet.uah.es\/wp\/ia\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/edunet.uah.es\/wp\/ia\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=224"}],"version-history":[{"count":3,"href":"https:\/\/edunet.uah.es\/wp\/ia\/index.php?rest_route=\/wp\/v2\/posts\/224\/revisions"}],"predecessor-version":[{"id":228,"href":"https:\/\/edunet.uah.es\/wp\/ia\/index.php?rest_route=\/wp\/v2\/posts\/224\/revisions\/228"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/edunet.uah.es\/wp\/ia\/index.php?rest_route=\/wp\/v2\/media\/229"}],"wp:attachment":[{"href":"https:\/\/edunet.uah.es\/wp\/ia\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=224"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/edunet.uah.es\/wp\/ia\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=224"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/edunet.uah.es\/wp\/ia\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=224"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}