L’equip de Language Technologies Unit del Barcelona Supercomputing Center avança en el desenvolupament de models multilingües i posa en marxa el nou model de Llenguatge Flor-6.3B completament Open Source. Es tracta del segon Language Model (LLM) entrenat fins ara per la Unitat, després de l’Àguila7B, en aquest cas basat en Bloom-7b i sobreentrenat amb un ‘corpus’ de 140 mil milions de tokens en català, castellà i anglès. Aina presenta així el nou model LLM Flor que compta amb 6.3 bilons de paràmetres.
Flor és un model que permetrà a usuaris avançats i desenvolupadors explorar les possibilitats d’aquesta nova infraestructura d’intel·ligència artificial pensada a partir de les llengües i necessitats del nostre entorn. Tot plegat, ho farà juntament amb les instruccions en castellà i català recentment publicades per AINA. A més el model està preparat per la generació de text i mitjançant entrenament orientat a tasques específiques (fine-tunning).
Gràcies al caràcter compacte dels models, poden ser explotats i executats en ordinadors de sobretaula sense necessitats de grans infraestructures.
Es tracta d’una aproximació que segons Carlos Rodríguez, investigador de la unitat de tecnologies del llenguatge del BSC, “fa possible la creació de models més vinculats a la llengua i a les convencions culturals desitjades sense haver de començar des de zero, ja que això suposaria un cost prohibitiu”.
La versió experimental instruïda del model es pot provar al Spaces de demostració del repositori del projecte AINA a Huggingface, i utilitza més de 240 mil instruccions en 3 llengües per afinar les seves funcionalitats. Entre aquestes permet fer resums, respondre a preguntes de l’usuari, traducció, classificació de documents, generació de text ad hoc, etc. És important aclarir que aquesta versió de prova és experimental. Encara no ha estat adaptada per filtrar continguts que poden ser ofensius, incorrectes, o inadequats. Tots aquests models de llenguatge que han estat entrenats amb textos en línia d’Internet impliquen aquests perills.
Gràcies al caràcter compacte dels models llançats pel projecte poden ser explotats i executats en ordinadors de sobretaula sense necessitats de grans infraestructures. Estan disponibles a Hugging Face. Tot i això, Aina també treballa en models massius que requereixen especificacions tècniques molt elevades. La posada en marxa del Mare Nostrum 5 permetrà facilitar l’entrenament d’aquests nous models lingüístics.
Tota la informació el model (en Anglès) disponible a Medium:
Accedir a l’article / Read the full article
Projecte Aina | Comunicació i premsa
press.languagetech@bsc.es
