ChatGPT vai rastrear extremistas e acionar ajuda imediata

Wellington, Nova Zelândia – Usuários que demonstrarem tendências violentas durante conversas no ChatGPT poderão, em breve, ser encaminhados diretamente para serviços de apoio psicológico. A startup local ThroughLine testa um sistema híbrido que combina inteligência artificial e atendimento humano para intervir antes que discursos extremistas se transformem em ataques reais.

• Em resumo: IA detecta discurso radical e redireciona o usuário a uma rede com 1.600 linhas de apoio em 180 países.

Como a detecção de risco vai funcionar na prática

Quando o algoritmo identificar termos associados a automutilação, violência doméstica ou extremismo, o ChatGPT disparará um protocolo de emergência. O usuário será transferido para a ThroughLine, que por sua vez conecta a pessoa a voluntários treinados ou a serviços presenciais mais próximos. Segundo a OpenAI, a parceria já ocorre em outras frentes de saúde mental; agora, o foco é ampliar para extremismo.

O fundador da ThroughLine, Elliot Taylor, afirma que o modelo não usa dados genéricos de grandes LLMs. “Estamos trabalhando com especialistas em contraterrorismo”, explicou, destacando que as conversas sensíveis não serão simplesmente encerradas, mas acompanhadas por humanos. Dados do Atlas da Violência mostram que políticas de prevenção precoce reduzem episódios letais.

“Queremos cobrir lacunas e oferecer suporte melhor às plataformas”, reforçou Elliot Taylor.

O que está em jogo para plataformas e governos

A pressão jurídica cresceu depois que, em fevereiro, o governo do Canadá ameaçou intervir na OpenAI por falhas de reporte envolvendo um massacre escolar. Plataformas temem que bloqueios automáticos empurrem radicais para apps sem moderação, cenário observado desde o ataque terrorista de 2019 em Christchurch.

Para Galen Lamphere-Englund, consultor do The Christchurch Call, disponibilizar a ferramenta a moderadores de jogos e a pais pode conter a escalada de ódio online. Já o pesquisador Henry Fraser, da Universidade de Tecnologia de Queensland, alerta que o sucesso depende do acompanhamento pós-encaminhamento e de parcerias sólidas com serviços de saúde mental.

A tecnologia ainda está em fase de testes e não tem data de lançamento, mas a expectativa é que evolua para alertar autoridades apenas em casos de ameaça iminente – evitando estigmatizar usuários que buscam ajuda anônima.

Crédito da imagem: Divulgação / Reuters

Você acredita que a intervenção de chatbots pode frear o extremismo online? Acompanhe mais análises em nossa editoria de Segurança.