Uma implementação eficaz de uma aplicação LLM potencia a otimização dos processos e a eficiência operacional. Para tal, é crucial considerar determinados aspetos técnicos e estratégicos durante a transição da fase de desenvolvimento para a produção.
A Inteligência Artificial Generativa (Generative AI), particularmente no contexto de Large Language Models (LLMs), tornou-se um tópico de relevo não só no domínio tecnológico, mas também em áreas como ciência e sociologia, devido ao seu potencial disruptivo nas nossas vidas.
Hélder Pinheiro, Data & AI Director
Claranet Portugal
No mercado empresarial, assistimos atualmente a um investimento na exploração de LLMs para a automatização de diversos processos, compreendendo desde tarefas criativas a tarefas de otimização. Aqui, as áreas de aplicabilidade de LLMs mais comuns são as vendas e marketing, o desenvolvimento de produto e I&D, bem como as operações e apoio ao cliente.
Contudo, a transição da fase de desenvolvimento de aplicações LLM para a produção apresenta desafios consideráveis, em certa medida similares aos que se verificaram nas várias tentativas frustradas de implementação de algoritmos de Machine Learning em produção, no passado.
O ciclo de vida de aplicações LLM
Podemos dividir o ciclo de vida de uma aplicação LLM em quatro fases: Conceção, Experimentação, Consolidação e Produção.
Na etapa de Conceção identifica-se a necessidade, analisam-se os dados disponíveis e testam-se os primeiros prompts em serviços LLM SaaS através das suas interfaces Web, com o objetivo de obter uma visão inicial do potencial do conceito.
Na fase de Experimentação, os modelos LLM são instanciados – habitualmente em hyperscalers –, concretiza-se a primeira integração com as fontes de dados e obtêm-se os primeiros resultados. Caso sejam promissores, o processo avança para a etapa de Consolidação, onde se aprimora a arquitetura, as configurações e as integrações de dados, tornando o processo globalmente mais robusto e eficiente.
Por fim, na fase de Produção, a aplicação LLM é disponibilizada para usufruto dos utilizadores, monitorizada e o feedback é recolhido, de modo a garantir a performance e segurança do modelo LLM em tempo real.
Transição de aplicações LLM em produção
Para se implementar uma aplicação LLM com sucesso em produção, tanto a nível funcional, como de desempenho e segurança, é fundamental dominar pelo menos quatro áreas relacionadas com LLMs: avaliação dos modelos, Retrieval Augmented Generation (RAG), fine-tuning e Observabilidade.
1- A avaliação dos modelos, também conhecida por Eval, mede o desempenho dos LLM e identifica possíveis regressões ao longo do tempo. Utilizam-se frequentemente métricas como BLEU, ROUGE ou BERTScore, sendo fundamental adaptá-las aos diversos contextos e tarefas para garantir uma avaliação precisa e eficaz.
2- A RAG permite enriquecer os LLM com dados das empresas relevantes para o objetivo que se pretende alcançar ou resolver. As implementações RAG contribuem igualmente para a redução do problema comum de "alucinação", isto é, a produção de informações factualmente incorretas, mas gramaticalmente e linguisticamente certas.
3- O fine-tuning é o processo de ajuste de LLM pré-treinados para uma tarefa específica, por meio dos dados reais das empresas relacionados com o caso de uso em questão. Isto potencia o desempenho pré-definido do modelo face ao objetivo pretendido.
Os métodos habitualmente utlizados são o LoRA (Low-Rank Adaptation of Large Language Models), P-Tuning, Prompt Tuning e Few-Shot Parameter-Efficient Fine-Tuning.
4- A Observabilidade dos LLM contempla mecanismos permanentemente ativos de validação das respostas, garantindo que estas são corretas, factuais e sem conteúdo prejudicial. Para tal, é preciso analisar sinais como Data Drift, Prediction Drift, Data Quality e Feature Attribution Drift. Estes ajudam a identificar mudanças nas distribuições dos dados de entrada e saída do modelo, a integridade dos dados, bem como a importância das features para as previsões.
Ao aplicar adequadamente estes domínios de LLMs, as empresas potenciarão o sucesso das suas aplicações LLM em produção, o que resultará em processos de maior eficácia operacional, gerando assim um impacto positivo e mensurável no negócio.