4.7 KiB
C215 — Ingestão de falas da internet no acervo (2026-09-24): a esteira que recebe um lote de achados da web (contrato do C218), baixa/espelha a mídia, transcreve com timestamps, classifica e grava de forma idempotente, com relatório honesto. O speech deixou de ser só Câmara: ganhou o discriminador origin (camara default | web) e os campos web nullable (platform youtube|instagram|radio|audio, externalId, sourceUrl, title, channel, mirroredMedia/thumbnail → nova collection privada internetSpeechMedia), numa migration aditiva (20260924_042028_add_web_speech_origin, origin NOT NULL DEFAULT 'camara' — as linhas existentes ficam intactas) e a collection privada registrada no plugin S3 (internetSpeechMedia: true; sem isso, produção cairia no disco efêmero), com read = canReadSpeech (o gate do acervo, fail-closed), escrita payloadAdminOnly (o CLI usa o bypass justificado) e cascade no beforeDelete do Speech (mídia + capa). A identidade da fala web é namespaced (web:<platform>:<externalId|url canônica>, nunca colide com o sourceKey da Câmara) e o contrato puro vive em src/lib/webSpeech.ts (taxonomia + labels pt-BR, schema zod do lote { generatedAt?, findings[] } com mediaUrl obrigatória para rádio/áudio e publishedAt normalizado para o speechAt wall-clock, canonicalização de URL que colapsa youtu.be/shorts/live/embed e reels e remove tracking, e o webSpeechSourceKey estável). A aquisição tem dono único por ferramenta: src/utilities/media/ytdlp.ts (YouTube/Instagram via YTDLP_PATH → PATH, probe --version fail-closed com hint de pipx install yt-dlp, --dump-json preenchendo lacunas de título/canal/duração/id/capa e download capado em ≤720p H.264/AAC com --merge-output-format mp4 e --ffmpeg-location do binário resolvido) e src/utilities/media/downloadToFile.ts (rádio/áudio direto, streaming com timeout); a resolução/probe/runner genérico de binários saiu de scripts/lib/reelFfmpeg.mjs para scripts/lib/mediaBinaries.mjs (o reel re-exporta — API e unit pins intactos) e o script resolve o ffmpeg com o fallback empacotado, setando FFMPEG_PATH. O pipeline src/utilities/speech/webSpeechIngest.ts (deps injetáveis para os specs) reusa os donos existentes — deepInfraTranscribeSegments + chunk/merge/searchText do C199, classifySpeech (gazetteer + LLM), withPayloadTransaction e o upsertSpeechBundle estendido com os campos web e options.req (o caminho Câmara segue idêntico) — com a capa em best-effort fora da transação (imagem quebrada nunca perde a fala) e limpeza best-effort do artefato substituído no --reprocess. O CLI pnpm falas-web:import --findings <lote.json> [--out data/falas-web] [--limit n] [--dry-run] [--reprocess] (relatórios gitignored em data/falas-web/reports/) tem as guardas do C155 (assertLocalDatabase + FALAS_WEB_IMPORT_CONFIRM=1 para alvo não-local/produção; --dry-run é read-only e não exige a flag), dedupe por sourceKey no lote, item inválido vira falha do item (nunca derruba o lote) e o relatório declara achados/novos/atualizados/ignorados/falhas (com estágio e motivo)/tempo/segundos e custo de ASR/custo LLM — exit 1 quando nenhum achado entrou. Blindagem obrigatória das superfícies existentes: origin: camara no where da lista/opções da Câmara (speechListFilters/speechPageData), na cobertura (speechCoverage) e no tool do Sollinha (findSpeechExcerpts) — a fala web nasce invisível até o C216 abrir a fonte própria; o serving/player fica no C216 (buildPrivateMediaResponse) e o corte no C217 (downloadPrivateMediaToFile), nada de rota nova aqui e nenhuma URL pública de mídia. Sem UI (Impeccable A), sem PII/Consent novo (canal/autor é texto de origem; menções continuam texto), sem segundo cadastro de pessoa. Verificação: unit (webSpeech — schema/sourceKey/canonicalização/labels; webSpeeches — plano/dedupe/relatório; ytdlp — resolução/parse/args; pins de speechListFilters e speechExcerptsTool atualizados), int (webSpeechImport — round-trip dos campos web, idempotência com facetas/segmentos preservados, curadoria manual vencendo, cascade da mídia no delete; webSpeechIngest — pipeline com fakes de acquirer/ffmpeg/transcriber/classificador, segundo run só atualiza metadados, --reprocess troca o artefato e apaga o antigo, falhas honestas por estágio sem linha fantasma, thumbnail espelhada, achado de rádio com mediaUrl), smoke local do CLI (--dry-run com inválido/duplicado e execução real com yt-dlp ausente → relatório + exit 1), pnpm gate:fast, pnpm test:int e o e2e afetado local. O run real de um lote em produção é operação do C218 (o PR não escreve no acervo de produção).