02 / fontes-e-coletas
Fontes e coleta de dados
Cada dado publicado tem origem oficial declarada. A coleta usa User-Agent que identifica o portal honestamente, pausa entre requisicoes e checkpoint para retomada. Nenhum coletor roda na CI.
Politica de coleta
- User-Agent honesto:
ControlePop/1.0 (+https://controlepopular.com.br) - Pausa entre requisicoes: minimo 1,5 s, configuravel por coletor
- Checkpoint: cada coletor salva progresso em arquivo JSON incremental — retomada sem reprocessar tudo
- Robots.txt: verificado antes de cada coletor novo; decisao de coletar mesmo com Disallow e registrada no cabecalho do script
- Dado pessoal: varrido antes de cada commit por
scripts/checar-dado-pessoal.py - Coleta fora da CI: coletores nao rodam em ambiente de integracao continua — so na maquina local do publicador
Principais fontes
| Fonte | Frequencia | O que coleta |
|---|---|---|
| IBGE — Municipios MG | Semestral | 853 codigos e nomes de municipios de MG |
| ComunicaBR — Diario Oficial MG | Diario (robo) | Editais, portarias, contratos no DO de MG |
| IBAMA — TACs ambientais | Mensal | Termos de Ajuste de Conduta (ambiental) |
| Fundação Renova — Paraopeba | Mensal | Execucao financeira do Acordo de Brumadinho |
| Lei Rouanet (SALIC) | Trimestral | Incentivadores e projetos culturais aprovados |
| CNUC/MMA — Unidades de Conservacao | Semestral | 387 UCs para o mapa 3D de funcao social da terra |
| TSE — DivulgaCandContas | A cada pleito eleitoral | Planos de governo oficiais dos candidatos eleitos |
| Cloudflare R2 — Arquivamento Perene | Continuo (espelho) | Guarda perene de PDFs governamentais, TACs e estudos |
| Anatel — Sistema Mosaico | Trimestral | Estacoes Radio-Base (ERBs) e cobertura celular |