Monitoramento de modelos de ML em tempo real
Nenhum modelo de ML em produção de uma financeira era monitorado, e os problemas só apareciam depois de afetar o negócio. Facilitei o Design Sprint que definiu os dashboards de PSI, KS e VDI com alertas em tempo real.
Contexto do projeto
Design Sprint conduzido para desenvolver um sistema de monitoramento de modelos de machine learning e books de variáveis no ambiente GCP.
Sem um sistema de monitoramento, era difícil identificar de forma proativa a degradação de performance dos modelos, o que comprometia a qualidade das decisões de negócio.
UX Designer no time de Machine Learning. Facilitei o Design Sprint, do mapeamento de stakeholders aos protótipos de dashboards validados com cientistas de dados e gestores.
“Descobre problemas nos modelos apenas após impacto nos resultados de negócio, pois não há como monitorar automaticamente degradação de performance ou data drift.”
“Um sistema centralizado que monitore todos os modelos automaticamente, sinalizando desvios em tempo real para ações preventivas antes que o negócio seja afetado.”
O que os dados e usuários revelaram
A matriz CSD revelou que nenhum modelo em produção tinha monitoramento automatizado: os problemas só eram descobertos depois do impacto nos resultados de negócio.
O mapeamento de stakeholders mostrou necessidades distintas: cientistas precisavam de métricas granulares (PSI, KS, VDI) e gestores, de uma visão executiva consolidada.
Os times tinham dificuldade para definir o momento ideal de retreinar, sem dados históricos comparativos nem alertas automáticos de desvio.
Sem controle de custos por modelo no GCP, era impossível otimizar o investimento em infraestrutura de IA e justificar orçamentos.
Do problema à solução
Matriz CSD e mapeamento de stakeholders
Construímos uma matriz CSD para mapear certezas, suposições e dúvidas sobre os requisitos, e mapeamos os stakeholders do nível estratégico ao operacional.
Soluções propostas e framework de monitoramento
Propusemos soluções como categorizar variáveis, monitorar mensalmente as métricas PSI, KS e VDI e fazer comparações históricas.
Definição de escopo e componentes do sistema
O escopo ficou definido como o monitoramento de todos os modelos, com books específicos quando necessário. Detalhamos os componentes: datas, valores, dimensões e filtros.
Protótipos lo-fi, dashboards e validação com stakeholders
Criei interfaces de baixa fidelidade com exemplos de dashboards, visualização de variáveis, degradação de modelos e sistema de alertas, validadas com os stakeholders.
Demonstração visual da solução
Por que cada escolha importa
Dashboards centralizados com métricas críticas
PSI, KS e VDI ficaram centralizados em dashboards com indicadores por cor, para avaliar rapidamente a saúde de cada modelo.
Arquitetura GCP com Vertex AI e BigQuery
A arquitetura combina Vertex AI e outros componentes do GCP, com as métricas armazenadas no BigQuery para análises históricas e controle de custos.
Alertas automatizados e ações preventivas
Alertas por mensagem, e-mail e dashboards em tempo real garantem que os problemas sejam identificados antes de afetar o negócio.