Modelos de IA Locais com Ollama

O Ollama é o runtime de orquestração utilizado para rodar e servir modelos de linguagem de inteligência artificial de forma local e privada dentro da infraestrutura do Concentrador.

1. Soberania e Privacidade de Dados

Ao rodar modelos localmente através do Ollama, garantimos que nenhum dado confidencial de editais internos ou logs de usuários seja enviado para servidores externos ou APIs de terceiros. Isso garante conformidade estrita com a LGPD.

2. Baixa Latência e Disponibilidade

Serviços locais não dependem da estabilidade de conexões externas de internet. O Ollama atende requisições de classificação e análise instantaneamente dentro da rede do portal, garantindo disponibilidade contínua mesmo sob alta carga.

3. Gerenciamento Leve de Modelos

O Ollama facilita a implantação, troca e atualização de pesos de modelos em servidores de produção, permitindo alternar de forma transparente entre diferentes tamanhos de modelos dependendo da necessidade do serviço.