Quem é bot e quem não é

*Por Siobhan Roberts

Recentemente, durante o fim de semana prolongado de feriado, houve um alvoroço no Twitter por causa dos bots, ou robôs, aqueles pequenos programas automáticos que falam conosco na dimensão digital como se fossem humanos.

O que chamou a atenção de Darius Kazemi foi a manchete de um artigo da NPR, “Pesquisadores: quase metade das contas tuitando sobre o coronavírus provavelmente são bots” – que Hillary Clinton retuitou para seus 27,9 milhões de seguidores –, e uma matéria semelhante da CNN.

Kazemi pensou: “Isso está me parecendo um exagero.” Pesquisador independente e artista da internet em Portland, no Oregon, além de Mozilla Fellow 2018, Kazemi passou um tempo considerável estudando a natureza e o comportamento dos bots. O estereótipo é o de que eles estão à solta nas mídias sociais a mando da Rússia. Alguns dizem que há uma vasta e muitas vezes problemática população de robôs por aí: em um artigo – “Que tipos de conspiração sobre a Covid-19 são divulgados por bots do Twitter?” –, o autor disse que alguns deles estavam sequestrando hashtags de Covid-19 e subindo outras, de desinformação e conspiração, como #greatawakening e #qanon.

Mas Kazemi acha que a trama dos bots contra os EUA é um exagero.

Há grandes incógnitas: de fato, quão disseminados estão os bots? Qual é seu verdadeiro efeito? Eles não tuitam um para o outro? E, fundamentalmente, o que é um bot? (Por exemplo, às vezes é difícil distinguir um bot de um troll, que é um humano belicoso em busca de uma briga, ou de um ciborgue, que é uma conta humana que utiliza um robô intermitentemente.)

Kazemi também faz bots; ele é às vezes chamado de “um John Cage profundamente subversivo e criador de robôs”. (Seu bot “Two Headlines” entrou no Google News, escolheu duas manchetes aleatoriamente e misturou suas palavras-chave no Twitter, por exemplo: “ABBA cruza a fronteira coreana para cúpula”). Ele define um bot como “um computador que tenta falar com humanos por meio da tecnologia que foi projetada para que humanos falem com humanos”.

Cético quanto à alegação de “quase metade”, Kazemi encontrou a fonte do artigo, um comunicado de imprensa da Universidade Carnegie Mellon (CMU, na sigla em inglês) sobre a pesquisa de Kathleen Carley, diretora do Centro de Análise Computacional de Sistemas Sociais e Organizacionais da CMU; desde janeiro, Carley havia coletado mais de 200 milhões de tuítes discutindo o coronavírus ou a Covid-19. “Estamos vendo até duas vezes mais atividade de bots do que tínhamos previsto com base em desastres naturais, crises e eleições anteriores”, declarou ela no comunicado.

Kazemi esperava encontrar o trabalho de pesquisa, com dados e código; não conseguiu. “Foi desanimador”, disse ele. Yoel Roth, chefe de integridade do site do Twitter, tuitou que a empresa “não viu nenhuma evidência para apoiar a alegação de que ‘quase metade das contas que tuitam sobre #COVID19 provavelmente são bots'”. Ele incluiu um tópico da equipe de comunicação do Twitter intitulado “Bot ou não?”, que analisou nuances taxonômicas.

Carley afirmou em uma entrevista que estava relutante em fornecer dados antes da publicação porque não queria um furo jornalístico; além disso, não desejava violar os termos de serviço do Twitter. (Os termos permitem a distribuição de tuítes e da identificação de usuários para revisão por pares ou validação de pesquisa, mas os detalhes podem ficar complicados.)

“Da última vez que divulgamos um trabalho sobre bots com os dados ao mesmo tempo, outra pessoa roubou nossos dados e publicou nosso artigo antes de nós. Os dados sairão quando o trabalho for aceito para publicação”, disse Carley, acrescentando que decidiu compartilhar resultados preliminares em resposta a perguntas de jornalistas e colegas: “Parecia importante que as pessoas soubessem sobre a Covid-19. Achamos que estávamos ajudando.”

Trabalhos científicos que ainda não foram publicados estão proliferando durante a pandemia, pois os pesquisadores têm pressa em divulgar seus resultados. E os meios de comunicação podem ser excessivamente zelosos ao buscar os resultados sem uma lente crítica, sem nem mesmo analisar os dados. Mas a escassez de dados foi uma bandeira vermelha para Kazemi. Ele investigou threads do Twitter: a menos que se assuma que há mais robôs que gente nas redes sociais, escreveu ele, “é preciso que haja dados extremamente bons para afirmar que metade de toda a conversa sobre a Covid-19 é feita por bots. O ônus da prova é enorme e não foi alcançado”.

Outros também palpitaram no Twitter. Kate Starbird, diretora do Laboratório de Capacidades Emergentes de Participação em Massa da Universidade de Washington, perguntou: “A automação & a manipulação ainda são um problema aqui? Sim. O Twitter deveria melhorar? Sem dúvida. Mas nós, pesquisadores, devemos ser precisos na forma como falamos sobre diferentes comportamentos, incluindo como rotulamos os ‘bots’.”

Brendan Nyhan, professor do Dartmouth College, afirmou: “Argh. O que importa é o número de tuítes que as pessoas *veem*. Os bots podem postar tuítes infinitos no éter. *É preciso medir a exposição, não os tuítes.*”

Alex Stamos, diretor do Observatório da Internet de Stanford, chamou a situação de “L’Affair Covid Bots”, e observou: “A desinformação sobre a desinformação ainda é desinformação, e é prejudicial para a luta em geral.”

No início de junho, surgiu uma história semelhante sobre a prevalência de robôs no discurso do Twitter em torno dos protestos contra a morte de George Floyd. Um artigo no Digital Trends disse que eles estavam espalhando teorias conspiratórias e desinformação em torno dos protestos e da hashtag Black Lives Matter. A história citou a pesquisa da Carnegie Mellon, sugerindo que de 30 por cento a 49 por cento das contas que tuitavam sobre os protestos eram bots.

Essas declarações novamente geraram ceticismo e preocupação, por parte de Kazemi e de outros.

Joan Donovan, diretora de pesquisa do Centro Shorenstein de Mídia, Política e Políticas Públicas de Harvard, comentou que os acadêmicos, quando divulgam descobertas novas e chocantes – em artigos em periódicos ou mediante comunicados de imprensa –, têm a responsabilidade de fornecer as evidências. Segundo ela, “anunciar uma estatística para o mundo sem qualquer explicação do tipo de conteúdo que está anexado é particularmente preocupante, especialmente em relação à hashtag Black Lives Matter”.

Carley disse em uma entrevista por telefone que tinha alguns projetos de mídia social em andamento, incluindo estudos sobre a Covid-19 e a eleição. Ela usa uma ferramenta de detecção de bots desenvolvida na CMU chamada Bot-hunter. “Eu disse a todos que me perguntaram: os bots em si não são nefastos. São apenas softwares usados para coisas boas e coisas ruins.”

Ela observou que, de todos os tuítes sobre o Black Lives Matter coletados até agora em sua pesquisa (bot ou não), 90,6 por cento apoiavam o movimento, 5,6 por cento não o apoiavam e o restante era neutro. O subconjunto dos tuítes de robôs, de acordo com ela, “não afetou consideravelmente essas proporções” – os bots estavam expressando apoio esmagador aos protestos, e muitas vezes estavam simplesmente retuitando notícias ou retransmitindo mensagens da Organização Mundial da Saúde ou do Centro de Controle e Prevenção de Doenças.

Como encontrar um bot real

Motivado pelas manchetes, Kazemi, nos dias que se seguiram, iniciou uma auditoria de bots, inspecionando manualmente conjuntos de dados suspeitos e verificando sua existência. Ele se concentrou em dados usados para treinar o algoritmo de aprendizagem de máquina usado pelo Botometer, uma ferramenta de detecção de robôs do Instituto de Ciência em Rede e do Centro de Pesquisa de Redes e Sistemas Complexos da Universidade de Indiana, que “verifica a atividade de uma conta no Twitter e lhe dá uma pontuação com base na probabilidade de a conta ser um bot”. Uma pontuação zerada é mais humana; cinco pontos podem evidenciar um bot.

Outros pesquisadores fazem trabalhos semelhantes. Manlio De Domenico, físico do Instituto Bruno Kessler, em Trento, na Itália, criou o “Observatório de Infodemics Covid-19”, que pesquisa cerca de 4,5 milhões de tuítes diariamente. Durante o processo de revisão por pares para um artigo, “Assessing the risks of ‘infodemics’ in response to Covid-19 epidemics” (Avaliando os riscos de infodemias em resposta à epidemia de Covid-19), seu laboratório validou mil contas de usuários. (A análise levou duas semanas para ser feita por 12 pessoas.)

Jonas Kaiser, do Centro Berkman Klein para Internet & Sociedade, de Harvard, e Adrian Rauchfleisch, da Universidade Nacional de Taiwan, auditaram o Botometer para seu artigo ainda não impresso, “The False Positive Problem of Automatic Bot Detection in Social Science Research” (O falso problema positivo da detecção automática de bots na pesquisa em ciências sociais). Kaiser observou que a competência dos algoritmos está diretamente ligada à qualidade de seu treinamento, e que eles geralmente têm um desempenho pior quando usados com dados desconhecidos.

“Descobrimos que a ferramenta que geralmente é entendida como o ‘padrão ouro’ do campo não é confiável em sua detecção de bots, e piora ao rastrear suas classificações ao longo do tempo, assim como em outros idiomas”, explicou Kaiser.

Michael Kreil, jornalista de dados em Berlim, audita robôs desde pouco depois das eleições americanas de 2016. No fim do ano passado, ele deu uma palestra intitulada “O Exército que Nunca Existiu”. O tema: “Bots sociais influenciaram eleições. Parece plausível? Sim. Há fundamento científico? De jeito nenhum.”

Definir um bot é um problema complicado; tecnicamente, poderia ser qualquer conta automatizada, como um agregador de notícias ou um software de amplificação, como o Hootsuite. Kazemi encontrou muitos deles tuitando sobre a Covid-19, incluindo clínicas de saúde de bairro usando software de marketing para postar diariamente avisos sobre a importância de lavar as mãos.

Ele também descobriu que os humanos eram frequentemente confundidos com robôs. Considere o “efeito vovô”, como ele o chamou: pessoas que foram confundidas com bots porque usaram as mídias sociais de maneiras “não legais ou estranhas”, disse ele. Os usuários que gostam de apertar o botão de compartilhamento em artigos de notícias também resultaram em falsos positivos. Isso levou Kazemi a se perguntar se o Botometer deveria ser rebatizado de “Normiemeter” (algo como “medidor de inexperiência”). Ele tuitou: “Você pode imaginar as manchetes? ‘Cinquenta por cento das contas que tuitam sobre Covid são de pessoas inexperientes’.”

Havia também um comportamento normal da base de fãs, como os progressistas do K-pop, que sobrecarregam os algoritmos das mídias sociais para que certos tópicos virem tendência – muitos se uniram em torno do movimento Black Lives Matter. Havia relatos de pessoas envolvidas com pornografia que seguiam muitas contas, com poucos seguidores ou nenhum. E havia uma sul-africana que gostava de responder com inúmeros emojis de congratulações sempre que via outras mulheres negras fazendo sucesso em sua carreira.

Uma manhã no Twitter, Kazemi pediu aos usuários que o avisassem quando um bot fosse detectado, e então lhes perguntava o que os fez pensar que se tratava de um robô. Cerca de metade dos entrevistados citou os nomes do Twitter com sufixos de vários dígitos, como @Darius98302127. Mas, como o próprio Kazemi descobriu recentemente, novos usuários (desde pelo menos o fim de 2017) não têm inicialmente a opção de escolher um nome de usuário; eles automaticamente recebem um, numericamente original, que muitos não se preocupam em mudar. Para os outros entrevistados, o termo “bot” era um xingamento – uma abreviatura de: “Não concordo, e acho que essa posição que a outra pessoa tem é tão ultrajante que não poderia ser mantida de boa-fé por um humano.”

Os bots importam?

O problema do que é ou o que não é um bot pode ser muito difícil de resolver – em parte porque eles estão em constante evolução. Como Kazemi observou: “É um pouco como quando o juiz da Suprema Corte, Potter Stewart, disse sobre a pornografia: ‘Sei reconhecê-la quando a vejo'” – o que, acrescentou Kazemi, não é a estratégia ideal.

A questão mais importante e talvez ainda mais difícil é como medir o impacto dos bots no discurso coletivo. Os robôs mudam nossas crenças e nosso comportamento?

“Queremos entender que tipo de população suscetível se envolve com eles, e que tipos de narrativas ressoam”, afirmou Emilio Ferrara, cientista da computação da Universidade do Sul da Califórnia e autor do artigo “Covid-19 Conspiracies”. O santo graal da pesquisa, segundo ele, é entender se os bots importam. “Muitas pessoas concordariam que, sim, talvez haja toneladas de bots. Mas, se ninguém se importa com eles – talvez eles sejam suspensos imediatamente e grande parte do público nem chegue a ver seu conteúdo –, isso é menos problemático.”

Sarah Jackson, professora associada da Escola de Comunicação Annenberg da Universidade da Pensilvânia, observou que era mais importante focar onde os bots estão nas redes e com quem interagem. Jackson é coautora, com Moya Bailey e Brooke Foucault Welles, da Universidade Northeastern, do livro “#HashtagActivism, Networks of Race and Gender Justice”. Estudando dezenas de redes de #BlackLivesMatter, os autores descobriram que o spam e a deslegitimação de bots eram quase periféricos, interagindo com pouquíssimas pessoas reais.

“Portanto, mesmo que haja muitos bots em uma rede, é enganoso sugerir que eles estão liderando a conversa ou influenciando pessoas reais que estão tuitando nessas mesmas redes”, disse Jackson.

Mas os bots também estão sendo adotados por organizações e ativistas em movimentos sociais como veículos eficazes para catalisar mudanças. Jackson apontou que algoritmos de detecção de robôs sinalizam o que pode ser considerado um comportamento humano atípico: as pessoas normalmente não tuítam 24 horas por dia, ou mil vezes por hora, nem criam novas contas para excluí-las quando conquistam seguidores. “Mas todos esses são comportamentos normais e esperados de quem documenta atividades de protesto”, ressaltou ela.

E, como Kazemi observou em um de seus tópicos, descrevendo outra classe de falsos positivos: “Você sabe quem usa o Twitter de modo diferente da grande maioria das pessoas que possuem doutorado? As populações desprivilegiadas.”

Enquanto isso, o autoidentificado “Galaxy Brain Bot” – seu bot favorito de 2020 – recebe a nota de 1,8 no Botometer.

The New York Times Licensing Group – Todos os direitos reservados. É proibido todo tipo de reprodução sem autorização por escrito do The New York Times.