teqo-backup/docs/changelog/2026-09-13-c155.md

2.6 KiB
Raw Permalink Blame History

C155 — Backfill 2011–2026 + import de produção do acervo de falas (2026-09-13): o catálogo do C153 ganhou o pipeline de acervo completo. O pnpm camara:import ganhou três modos: --all (54ª–57ª num processo, com relatório por legislatura e checkpoint por legislatura), --coverage (read-only, retrato do banco por legislatura: total, com trecho, com vídeo, com segmentos, sem trecho, sem segmentos, fallback YouTube) e --verify-links <n> (amostra determinística por legislatura com GET Range/HEAD nos links de playback/download do VOD, warning não-fatal). O guard de escrita CAMARA_IMPORT_CONFIRM=1 (predicado puro requiresWriteConfirm/isLocalDatabaseUrl em scripts/lib/cli.mjs) fail-closa antes de conectar quando o alvo não é provadamente local — NODE_ENV=production (env file do homeserver), host remoto ou ALLOW_REMOTE_DB; --coverage/--verify-links são isentos. A paginação da API ganhou backoff (fetchJsonWithBackoff, 5 tentativas exponenciais) porque a listagem da 55ª devolveu 500 persistente na página 4. Cobertura via getSpeechCoverage (src/utilities/speech/speechCoverage.ts, query agregada COUNT(*) FILTER + drizzleResultRows, aceita sessão transacional para os int tests). Runbook novo em docs/ops/teqo-1313-deploy.md §C155 (pré-requisitos, comandos com o proxy 5433, rollback por legislatura). Testes: unit de aggregateBackfillRuns/selectLinkSample/requiresWriteConfirm/dateRangeChunks + int speechCoverage (deltas exatos por bucket sob REPEATABLE READ). Prova viva em produção (teqo_1313, deploy 424ee311 já com o schema C153/C154, 2026-09-13/14): smoke idempotente (--all --limit 1 duas vezes → 0 criados/0 ASR/0 LLM na segunda) e backfill completo com 997 discursos no acervo — 54ª=1, 55ª=348, 56ª=414, 57ª=234; 947 com trecho, 924 com vídeo, 920 com segmentos (856 ao fim dos runs + 64 recuperados no retry por data); 993 criados em 998 processamentos (1 re-run do smoke); ASR 925 chamadas / 45,4h de áudio / ~US$ 1,23; LLM 995 chamadas / 1,38M tokens / ~US$ 0,11; ~9h de máquina nos runs principais + ~2h de retry. Cobertura honesta: 50 sem trecho (fonte antiga), 77 sem segmentos, 9 com fallback YouTube; falhas por estágio (list 3 · event 34 · asr 60) nos JSONs. A 55ª recuperou 349/362 com o fallback de listagem por ano/mês — a API responde 500 no mês de outubro/2018 (~14 discursos ficaram fora, pendência de fonte). VOD validado na amostra (--verify-links 3: 17/18 ok, 1 warning transitório de CDN). Runbook §C155 com o procedimento e o rollback por legislatura.