Grandes modelos de linguagem (LLMs) fizeram avançar significativamente o campo de processamento natural de linguagem, mas tal progresso ainda não é igualmante distribuido por todas as línguas. Neste projeto, documentamos o desenvolvimento de um par de modelos de linguagem, open-source, adaptados para utilização em ambientes de poucos recursos, treinados em lingua Portuguesa. Este é o par TeenyTinyLlama: dois modelos compactos para a geração de texto em português do Brasil. Nós os lançamos atrelados a uma licença permissiva (Apache 2.0) no GitHub e no Hugging Face para uso da comunidade e desenvolvimento posterior.
Este estudo foi desenvolvido no âmbito da iniciativa RAIES (Rede de Inteligência Artificial Ética e Segura), um projeto apoiado pela FAPERGS - (Fundação de Amparo à Pesquisa do Estado do Rio Grande do Sul), Brasil.
Comments