Inocêncio
Matavele

Auditar a qualidade de dados em Excel é um trabalho manual, lento e inconsistente. Encontrar valores em falta, duplicados, inconsistências e formatação estragada consome horas e depende do critério de cada pessoa, sem um score objetivo que diga em que estado os dados realmente estão.

Uma aplicação Streamlit onde o utilizador carrega um Excel e o DataLab faz a auditoria: perfila os dados, corre verificações de qualidade, atribui um score, aponta problemas concretos e recomenda correções. Inclui motor de limpeza, comparação entre ficheiros e exportação de relatórios PDF/HTML com KPIs executivos e score antes→depois. A arquitetura é modular — main.py como entry point e serviços separados em app/services (data_loader, data_profiler, quality_checker, recommendations, cleaning_engine, file_comparator, exporters) — com leitura acelerada via calamine, o motor em Rust. Totalmente bilingue EN/PT.

Em v1-demo: o site landing de três páginas (index, como-funciona, sobre) está pronto e servido por Nginx, com a aplicação em /app. Falta o deploy no VPS Contabo antes do go-live. Estrategicamente é uma peça de portfólio de alta qualidade com potencial real de produto — cujo verdadeiro diferencial é a base acumulada de ‘Problemas Reais Descobertos’: o registo estruturado dos problemas de dados que aparecem no terreno.

O acompanhamento de tendências de fraude global dependia de leitura manual dispersa, sem critérios consistentes de triagem. Era difícil identificar padrões emergentes ou relacionar eventos de fontes diferentes.

O sistema evoluiu de uma ingestão simples via RSS para um pipeline com estratégia de palavras-chave, preenchimento histórico e clustering semântico com HDBSCAN. Foi adicionado um modelo de pontuação de risco que prioriza eventos com base na sua relevância contextual.

O processo de triagem de inteligência tornou-se repetível e orientado por critérios objetivos. A análise passou a focar-se na interpretação de padrões agrupados, com maior consciência situacional sobre o panorama de fraudes.

A equipa de análise não tinha visibilidade consolidada sobre o volume e comportamento das transações. A revisão era feita manualmente em relatórios estáticos, tornando difícil identificar anomalias de forma atempada.

Construído em Power BI com pipeline ETL em SQL. O modelo inclui segmentação por tipo de transação, perfil de cliente e faixa de valor, com indicadores visuais para desvios relevantes. A lógica de alerta foi definida em conjunto com a equipa operacional.

A equipa passou a ter visibilidade diária centralizada sobre as operações, substituindo relatórios dispersos por um único ponto de consulta. O processo de triagem de casos tornou-se mais estruturado e baseado em dados.

Em ambientes regulados, transações de pequeno valor realizadas com frequência elevada por múltiplos intervenientes podem sinalizar tentativas de fracionamento intencional uma tipologia conhecida como structuring. Estes padrões raramente são visíveis quando se analisa cada transação isoladamente.

Foram desenhadas regras de deteção baseadas em agregação temporal analisando volume acumulado, frequência e distribuição de valores por cliente e período. A lógica identifica desvios em relação ao comportamento esperado, sem depender de análise caso a caso.

O processo de monitorização passou a cobrir padrões que anteriormente não eram detetados através de alertas transacionais simples. Os controlos internos ficaram mais robustos face a esta tipologia específica.

Os dados necessários para análise de negócio estavam distribuídos por múltiplas tabelas operacionais, sem um modelo dimensional que facilitasse consultas analíticas. Cada relatório exigia queries complexas e lentas, dificultando a tomada de decisão.

Desenhado um modelo Star Schema com tabelas de dimensão e facto. As transformações foram implementadas em T-SQL através de stored procedures agendadas, garantindo que o datamart é atualizado de forma controlada e auditável. A lógica foi documentada e validada com as áreas utilizadoras.

O modelo dimensional simplificou o desenvolvimento de relatórios e dashboards, reduzindo a complexidade das queries analíticas. Os tempos de carregamento melhoraram de forma notável, e a equipa passou a ter uma fonte de dados confiável e documentada.