Cop d’efecte de Softcatalà amb la IA i el català
Un balcó engalanat amb una senyera
La vostra veu, la del català a la intel·ligència artificial: presentem GarbellaVeus i ArenaCat
Softcatalà posa en marxa dues plataformes participatives perquè siguin les persones catalanoparlants, i no només les màquines, les que decideixin com ha de sonar i com s’ha d’escriure el català en la tecnologia. Amb uns minuts del vostre temps podeu ajudar a millorar el reconeixement de la parla i a saber quins models d’IA parlen millor la nostra llengua.
La intel·ligència artificial ja forma part del dia a dia: transcriu reunions, subtitula vídeos, redacta textos i respon preguntes. Però la qualitat d’aquestes eines en català depèn de dues coses que no es poden automatitzar del tot: dades de qualitat i criteri humà per a jutjar els resultats.
Fins ara, una bona part de les dades de veu en català s’han generat i verificat de manera automàtica, i la manera habitual de comparar models de llenguatge són proves automàtiques pensades sobretot per a l’anglès. Aquestes mesures deixen escapar errors i matisos que qualsevol parlant detecta de seguida.
Per això presenten dues iniciatives complementàries: GarbellaVeus, per a validar dades de veu en català, i ArenaCat, per a avaluar els models d’IA que escriuen en català. Totes dues comparteixen una mateixa idea: donar veu a la gent que parla la llengua.
GarbellaVeus: garbellem plegats les veus del català
El català ja disposa de recursos oberts de veu importants, com Common Voice o diversos corpus parlamentaris. Però encara hi falten dades de parla espontània, amb una gran diversitat de parlants i amb transcripcions verificades per persones. GarbellaVeus vol contribuir a omplir aquest buit.
GarbellaVeus us convida a escoltar talls de veu del conjunt de dades Catalan YouTube Speech, extret de vídeos de plenaris publicats amb llicència lliure. L’objectiu és ambiciós: afegir fins a 920 hores de parla catalana validada als conjunts de dades oberts.
Participar-hi és molt senzill. Escolteu un tall i voteu si la transcripció és correcta i si el dialecte detectat és l’encertat. Si hi trobeu errors, podeu proposar una transcripció més acurada o indicar el dialecte correcte. I si el tall no és en català, té música o soroll, o hi parlen diverses persones, el podeu marcar perquè no contamini les dades.
La plataforma també inclou les transcripcions verificades de manera automàtica pel BSC, a les quals ara s’afegeix una capa de validació humana. Quan un tall acumula prou vots favorables, es marca com a validat. Cada vot ajuda a separar el gra de la palla: quines transcripcions són fiables, on s’equivoquen els models i quina varietat del català s’hi sent.
ArenaCat: la lliga dels models d’IA en català
ArenaCat és una plataforma centrada exclusivament a mesurar la competència en català dels models de llenguatge. A diferència de les avaluacions automàtiques, aquí són persones les que decideixen quina resposta és millor.
El funcionament és el d’un duel a cegues. Llegiu una tasca i dues respostes, A i B, generades per models diferents. Els noms dels models queden ocults per evitar biaixos de marca. Només cal triar quina resposta és millor, si estan empatades o si cap de les dues resol bé la tasca.
Les tasques inclouen correcció, reformulació, traducció i generació de textos. Els criteris són clars: la correcció i la naturalitat del català, el respecte del significat i el compliment de les instruccions.
No cal saber d’intel·ligència artificial. Per a garantir que els resultats siguin fiables, cal crear un compte i superar una breu prova de competència lingüística, d’uns cinc minuts, que només s’ha de fer una vegada. A partir d’aquí, cada comparació porta uns dos minuts i hi podeu participar al vostre ritme.
Donar veu a la gent: què farem amb els resultats
Amb GarbellaVeus i ArenaCat Softcatalà vol que siguin les persones que parlen català les que marquin el llistó. El vostre criteri detecta errors de concordança, calcs, faltes de registre o confusions dialectals que les mètriques automàtiques no veuen.
Tot el que aporteu tornarà a la comunitat en obert:
- Dades de veu validades i obertes. Les transcripcions i els dialectes validats a GarbellaVeus s’incorporaran als conjunts de dades oberts, amb fins a 920 hores de parla catalana revisada per humans. Aquestes dades permetran entrenar i avaluar sistemes de reconeixement de la parla que entenguin millor totes les varietats del català.
- Un rànquing públic de models. ArenaCat publica un marcador que es recalcula amb cada vot i que indica quins models responen millor en català, globalment i per tipus de tasca. Us ajudarà a triar quina eina fer servir i farà visible, davant dels desenvolupadors, com tracten la nostra llengua.
- Un conjunt de dades de preferències. Les tasques, les respostes i les preferències recollides a ArenaCat es publicaran com a dades obertes perquè serveixin per a entrenar i millorar models en català.
Com tots els projectes de Softcatalà, el codi és lliure i la metodologia és pública. Podeu consultar-ne els detalls a la documentació d’ArenaCat.
Participeu-hi: cada vot compta
Aquestes dues plataformes només funcionen si hi participa molta gent. Com més vots, més fiables seran les dades i el rànquing, i més ben representades hi quedaran totes les varietats del català. No cal ser expert: n’hi ha prou amb parlar català i tenir una mica de criteri.
- Escolteu i valideu talls de veu a garbellaveus.softcatala.org.
- Compareu respostes de models d’IA a arena.softcatala.org.
Si teniu cinc minuts, feu uns quants vots. Si en teniu més, torneu-hi sovint. I, sobretot, difoneu-ho entre amics, companys de feina, docents i alumnes: com més diverses siguin les veus, millor.