Instructlab on Rafael Zago

Skupper + InstructLab: controlando e protegendo IA (ato 3)

Mon, 05 May 2025 00:00:00 -0300

Veja a Solução em Ação

Neste artigo, vamos implementar passo a passo o chatbot InstructLab no Kubernetes usando Skupper para conectar de forma segura um modelo de IA privado com uma interface pública. Esta é a continuação prática do padrão de solução apresentado no artigo anterior.

Conceitos e Comandos Usados na Demonstração

NOTA: Os comandos a seguir são utilizados para configurar o ambiente e implantar o chatbot InstructLab. Eles são extraídos do projeto InstructLab e adaptados para esta demonstração.

Skupper + InstructLab: controlando e protegendo IA (ato 2)

Sun, 04 May 2025 00:00:00 -0300

Veja a Solução em Ação

Neste artigo, vamos preparar todo o ambiente para servir o modelo de IA generativo Deepseek usando o InstructLab, baixando o modelo, convertendo-o para o formato GGUF e implantando o chatbot InstructLab. Além disso, vamos expor o serviço de forma segura usando Skupper.

Conceitos e Comandos Usados na Demonstração

NOTA Certifique-se de explicar o que cada comando Skupper faz na primeira vez que você o usa, especialmente para pessoas não familiarizadas com o Skupper. Os seguintes comandos devem ser explicados:

Skupper + InstructLab: controlando e protegendo IA (ato 1)

Fri, 02 May 2025 00:00:00 -0300

A história por trás deste padrão de solução

A crescente demanda por aplicações orientadas por IA traz um desafio importante: como implantar e operar modelos de IA com segurança em ambientes que exigem proteção rigorosa dos dados, ao mesmo tempo em que esses modelos precisam ser acessíveis por serviços públicos. Essa necessidade ficou clara durante o desenvolvimento de um chatbot de IA local, projetado para lidar com informações sensíveis e proprietárias, o que exigiu uma solução capaz de manter o modelo protegido dentro de um ambiente seguro.

InstructLab e Skupper: IA local sem expor seus dados

Thu, 01 Aug 2024 00:00:00 -0300

Bem-vindo ao Ollama Pilot

Problema a resolver

O objetivo principal deste projeto é criar uma conexão segura entre dois sites, permitindo a comunicação entre a máquina do engenheiro e um modelo Instruct Lab. O modelo merlinite-7b-lab-Q4_K_M.gguf será usado no chatbot e está disponível no Instruct Lab. A licença do modelo está em Instruct Labs.

E por que o banner? Porque o engenheiro precisa saber quem é melhor: LeBron ou Jordan. O chatbot responde a essa pergunta: recebe o input do usuário, envia ao modelo e devolve a resposta do merlinite.