Nunca he publicado nada en el blog que no fuera en castellano, pero hoy voy a hacer una excepción porque me hace especial ilusión haber publicado mi artículo sobre sesgos coginitivos en la ciencia en portugués. Reproduzco aquí la traducción, publicada recientemente en la Sociedade Portuguesa de Física (Gazeta de Física, 43 (2), 13, 2020). Quiero agradecer enormemente a José Marques por ayudarme con la traducción.

The first principle is that you must not fool yourself, and you are the easiest person to fool.
Richard P. Feynman

Enquanto investigadores estamos sujeitos a vieses cognitivos significativos e, devido à natureza da nossa profissão, esses preconceitos podem ser especialmente perigosos para a qualidade e o rigor do nosso trabalho. Quais são esses vieses e quão sérios podem ser se não lhes prestarmos atenção? Por que nos afetam e como podemos evitá-los?

Introdução

Em janeiro de 2020, vários meios de comunicação social relataram uma triste notícia científica: Frances H. Arnold, galardoada com o Prémio Nobel de Química em 2018, anunciou que tinha decidido retirar um artigo publicado na revista Science alguns meses antes [1]. O motivo invocado foi a falta de reprodutibilidade dos resultados, acompanhada pela constatação de ausência de registos e dados para algumas experiências importantes. Quatro anos antes, a revista Nature tinha publicado um artigo alertando precisamente sobre uma crise de reprodutibilidade na ciência [2]. No inquérito da Nature, que abrangeu 1576 investigadores, 90% destes afirmaram que a ciência atual sofre de problemas de reprodutibilidade. Para além disso, 52% consideraram que esses problemas eram significativos. Mas, a parte mais interessante deste o estudo, é que as causas subjacentes a esta crise também foram determinadas. Algumas delas eram expectáveis: pressão para publicar, má análise de dados, estatística insuficiente ou baixa reprodutibilidade no laboratório. Mas o mais surpreendente é que a primeira razão de todas foi o relato seletivo ou tendencioso dos cientistas. Como isto é possível?

A ciência é uma atividade humana e, como tal, herda inevitavelmente as nossas próprias falhas. Isto acontece, apesar dos nossos esforços para seguir um método científico, porque o verdadeiro mecanismo da ciência é muito mais complexo do que geralmente é aceite [3]. Muitas decisões importantes sobre as experiências realizadas (e aquelas que não são realizadas), bem como os resultados publicados (ou mantidos numa gaveta) não respondem realmente a um método objetivo, mas sim a forças como a interação com os nossos colegas ou a nossa confiança nas nossas intuições.

Na procura da verdade, os cientistas geralmente esquecem um fato importante sobre as nossas mentes: que podemos não só estar cegos para o óbvio, mas também para a nossa própria cegueira [4]. Este artigo tem como objetivo ajudar os investigadores a reconhecer os vieses cognitivos mais perigosos para as nossas tarefas, aproveitando três exemplos históricos concretos que dão uma boa ideia da sua dimensão em trabalhos importantes. Mas, antes disso, é conveniente esclarecer o que são e qual a origem desses vieses.

Os dois sistemas

Um viés cognitivo é qualquer processo que, em algum estado de inferência, tende a produzir resultados ou conclusões que diferem sistematicamente da verdade [5]. Os seres humanos (e não vamos esquecer que os cientistas o são) têm muitos vieses, e atualmente existem pelo menos 154 catalogados [6]. Estes preconceitos respondem à nossa necessidade de interpretar informações e tomar decisões rapidamente, mesmo quando as informações disponíveis são excessivas ou insuficientes. Os preconceitos afetam capacidades especialmente críticas no mundo científico: a capacidade de decidir corretamente, fazer estimativas justas, fazer julgamentos objetivos, atribuir relações causais ou estabelecer hipóteses.

A origem de muitos desses efeitos psicológicos reside no que é conhecido como os dois sistemas [4]. Sabe-se que nosso cérebro possui um sistema de decisão rápida, inconsciente, associativo e automático, que usamos cerca de 95% do tempo. Felizmente, também temos outro sistema, lento e racional, que exige esforço e usa lógica. Como esse sistema requer mais esforço, raramente o usamos: apenas cerca de 5% do tempo. Para dar um exemplo, o primeiro sistema é o que nos permite decidir se confiamos, ou não, na pessoa da Figura 1 (a). Essa decisão levará apenas alguns milissegundos e a resposta provavelmente será “não”, mesmo que o leitor não saiba a razão. O segundo sistema é aquele que nos permite resolver um problema complexo como o jogo de xadrez da Figura 1 (b), no qual as brancas jogam e ganham. A menos que o leitor seja um jogador de xadrez profissional, esta ação levará alguns segundos.

Em geral, todos nós tendemos a usar o primeiro sistema o máximo possível, pois exige menos esforço que o segundo. Enquanto investigadores, apesar de nos gabarmos de ser mais racionais do que a maioria das pessoas, não somos exceção a esse fato. Agora, quais são os vieses cognitivos nos afetam mais no nosso trabalho?

Encontre o inimigo

De todos os vieses cognitivos existentes, apenas seis foram selecionados aqui, com base no grau de risco envolvido. Esta simplificação não significa que não haja outros vieses que possam alterar a nossa perceção da realidade, mas julgo que é preferível concentrar a nossa atenção naqueles a que nos sentimos (erroneamente) imunizados. É, ao mesmo tempo, uma escolha pessoal que não pretende ser sistemática, mas sim sintomática, ou seja, tem como objetivo ilustrar os sintomas gerais de vieses para ajudar a reconhecê-los. Em ordem de importância, a classificação dos vieses que devem alertar qualquer investigador seria a seguinte:

1. Viés de confirmação: Tendemos a aceitar detalhes que confirmam as nossas próprias crenças. Tratamos desproporcionalmente alternativas que não atendem às nossas expectativas, no que é um erro sistemático do raciocínio indutivo.
2. Viés de ilusão de validade: tendemos a encontrar histórias e padrões mesmo em dados dispersos ou aleatórios. Ao mesmo tempo, tendemos a superestimar a nossa capacidade de interpretar dados e prever o seu comportamento.
3. Viés de sobrevivência: tendemos a desconsiderar os eventos que não ocorreram. Isso pode levar a conclusões falsas, porque inconscientemente estabelecemos relações entre os efeitos e as possíveis causas conhecidas, sem atender a outras causas possíveis ainda não determinadas.
4. Viés da retrospetiva: Acreditamos que os eventos foram previsíveis, mas somente após a ocorrência destes. Isso geralmente modifica as nossas próprias memórias, para criar a ilusão de que a nossa opinião é, de fato, confirmada.
5. Viés de ancoragem: tendemos a notar apenas alterações relativas e a confiar demasiado nas primeiras informações recebidas. Em particular, somos especialmente maus a estimar quantidades absolutas e precisamos de proporções e comparações para fazer julgamentos críticos.
6. Viés do estereótipo: tendemos a descartar o específico para formar generalidades. A generalização é talvez uma das qualidades mais reconhecíveis da ciência, mas, como seres humanos, usámo-la muito facilmente, esquecendo ou negligenciando detalhes importantes.

Vale a pena realçar que os vieses podem operar de várias maneiras e em diferentes escalas. Em particular, muitos preconceitos podem funcionar simultaneamente. Por exemplo, pode acontecer que o viés de confirmação e o de sobrevivência “cooperem” para levar o investigador à mesma conclusão. Mas os preconceitos também podem operar em direções opostas. Por exemplo, o viés de confirmação tende a rejeitar ideias (que não se encaixam no nosso pensamento), enquanto o viés de a ilusão de validade tende a aceitar ideias (que não estão suficientemente comprovadas). Ambas as funções são importantes na disciplina científica e desempenham um papel importante na elaboração e aprovação de hipóteses.

Felizmente, os investigadores têm ferramentas para combater esses preconceitos, mas isso não significa que as usemos com frequência. Assim, uma maneira de acabar com a ilusão de validade (reconhecimento de padrões inexistentes) é usar métodos matemáticos cegos para a análise de dados, aumentar o tamanho da amostra e considerar todos os dados com o mesmo peso. No entanto, é mais fácil eliminar um ponto que não corresponde à tendência (afinal, todos sabemos que tem que ser uma linha reta, não é?). Isso significa que, na prática, a qualidade de nossa investigação está mais condicionada pelos nossos métodos do que pelos nossos próprios dados [7]. Vamos agora ver três exemplos concretos em histórias científicas, que poderiam ter um final diferente se não fosse a influência dos vieses cognitivos.

Trés histórias com mensagem

O buraco de ozono e o viés de confirmação

Em 1985, Joseph C. Farman (1930-2013) e a sua equipa publicaram um artigo que revelava perdas significativas de ozono na Antártica [8]. Pouco tempo antes, eles tinham decidido substituir o seu equipamento experimental na Base Halley porque achavam que este estava a funcionar mal devido à recolha de dados anormalmente baixos. Entre outras coisas, os dados da NASA não mostraram esse tipo de anomalia e, portanto, o mais lógico era que o equipamento da equipa de Farman, já desatualizado, estivesse a medir incorretamente. A equipa calibrou novos equipamentos e levou-os para base, mas a perda de ozono continuava. Quando a equipa reviu os seus dados, constatou que essa perda realmente começou muito antes, já em 1977. Por que razões os cientistas da NASA, com satélites que recolhiam dados 24 horas por dia, não o tinham conseguido detetar? Acontece que, precisamente devido à grande quantidade de dados que precisavam de ser tratados, os cientistas da NASA tomaram a decisão de fazer um programa que filtrasse os dados, ou seja, um programa que estabelecesse um limite de valores admissíveis [3]. Todos os valores que não estavam dentro dos limites estabelecidos foram considerados erros de medição e não foram analisados! Num caso claro de viés de confirmação, os cientistas já tinham decidido o resultado, perdendo assim uma quantidade valiosa de informações. Graças a Farman, a equipa da NASA reviu adequadamente os dados e descobriu não apenas que o nível de ozono tinha baixado, mas que havia um enorme buraco no Pólo Sul (Figura 2).

A lei de Hubble e a ilusão de validade

A lei de Hubble-Lemaître é um dos testes científicos mais importantes da teoria do “Big Bang” e também é uma das melhores maneiras de estimar a idade do Universo. Estabelece que existe uma relação linear entre o desvio para o vermelho das galáxias e a distância em que estão; isto é, quanto mais distante estiver uma galáxia, mais rápidamente ela se afasta. Edwin Hubble (1889-1953) usou o telescópio mais poderoso do mundo na época, o do Observatório Mount Wilson, para fazer observações de estrelas variáveis (Cefeidas) em galáxias distantes e, assim, relacionar o seu efeito Doppler com a sua distância. Combinando os seus dados com as medidas de Vesto Slipher (1875-1969), Hubble encontrou um valor conflituante de cerca de 500 km/s/Mpc, o que implicava uma idade para o Universo menor que a da Terra. A Figura 3a mostra os dados originais do Hubble [9], incluindo alguns com velocidades negativas que, de maneira exemplar, Hubble não removeu da sua lista [10]. No entanto, olhando para essa nuvem de pontos, podemo-nos perguntar se Hubble foi vítima de uma certa ilusão de validade. Os seus dados eram suficientes para demonstrar uma lei linear entre velocidade e distância?

Hoje é fácil responder a essa pergunta comparando com dados recentes [11], representados na Figura 3b. As escalas são tão diferentes que é quase impossível ver onde ficam os dados de Hubble, que mal alcançavam 2 Mpc de distância (1 parsec ~ 3,26 anos-luz). Nesta perspetiva, parece claro que Hubble não possuía dados suficientes para concluir que existia uma relação linear, algo que também se refletia no valor sobrestimado de sua constante (atualmente estão a ser feitos esforços para reduzir a incerteza no valor, cerca de 70 km/s/Mpc [12]).

Ao avaliar o viés de Hubble, devemos ter cuidado para não cair num julgamento anacrónico. É verdade que Hubble não possuía estatística suficiente na época para poder declarar a sua lei com uma garantia absoluta, mas também é verdade que não se poderia ter saído muito melhor nessa época, em que fez a suposição mais simples possível que era compatível com os seus dados (ou seja, ele ficou preso corretamente no início da navalha de Ockham). De fato, Hubble estava ciente de suas limitações e menciona que «para uma quantidade tão pequena de material, tão mal distribuída, os resultados são bem definidos». Portanto, pode-se dizer que a lei de Hubble é um bom exemplo de um caso de sucesso, onde um viés cognitivo operou sem consequências negativas. Nesse sentido, a história mostra-nos que a ciência não só avança apesar dos preconceitos dos cientistas, mas às vezes através deles, e que a intuição e a confiança desempenham um papel fundamental em muitas descobertas pioneiras.

Contaminação por pesticidas e viés de sobrevivência

O viés de sobrevivência é um dos mais sutis e indetetáveis que podem afetar as conclusões científicas. A sua origem remonta à Segunda Guerra Mundial, quando foi realizada uma análise da sobrevivência de aeronaves envolvidas em batalhas aéreas, coligindo informação sobre os danos à fuselagem nos aviões que tinham conseguido regressar. Os investigadores decidiram reforçar as partes mais danificadas, como mostrado no exemplo da Figura 4. No entanto, o estatístico Abraham Wald (1902-1950) propôs o oposto: reforçar só as partes não danificadas [13]. O argumento dele é que estava a ser analisada informação apenas de aviões que tinham sobrevivido a ataques, mas não daqueles que tinham sido perdidos. Em outras palavras, a pergunta a ser respondida não devia ser «onde está danificada a aeronave que consegue regressar?» mas «por que não regressam as outras?» E a resposta lógica é: porque estão danificadas em áreas mais críticas, que não podem ser as que as aeronaves que retornam mostram, ou estas não conseguiriam regressar. O viés de sobrevivência mostra excelentemente que «os erros mais graves não são cometidos como resultado de respostas erradas, mas como resultado de fazer perguntas erradas» [14].

Outro ótimo exemplo de viés de sobrevivência é o caso do pesticida Aldrin. Este inseticida é um composto organoclorado sintético, extremamente tóxico que foi amplamente utilizado entre as décadas de 1950 e 1970 em culturas de milho e algodão nos Estados Unidos. Causa danos nos rins e no fígado mas, durante alguns anos acreditou-se que não havia motivo para preocupação com o consumo humano. O motivo é que os investigadores mediam um conteúdo muito baixo de Aldrin nos produtos recolhidos. Contudo, o Aldrin transforma-se em Dieldrin [15], outro composto organoclorado  igualmente tóxico, no solo e nos tecidos vivos, mas como os investigadores analisaram apenas o teor de Aldrin, não apuraram este facto [16]. Novamente, os investigadores estavam a fazer a pergunta errada e analisaram apenas os dados que possuíam. O Departamento de Agricultura dos Estados Unidos acabou por terminar a utilização de Aldrin e Dieldrin em 1970.

Conclusões

Grande parte do trabalho de um investigador é tomar decisões sobre experiências, dados, hipóteses e conclusões. O método científico é influenciado, na prática, por um jogo variado de forças que separam os investigadores da objetividade necessária para realizar essas tarefas. Neste artigo, vimos que algumas vezes essas decisões são distorcidas por vieses cognitivos, muitos dos quais passam despercebidos. É nossa missão, enquanto investigadores, conhecer e controlar esses vieses, para que a qualidade dos nossos relatórios aumente e, assim, limite as possíveis falhas de reprodutibilidade na ciência. As histórias que analisamos mostram-nos que, apesar de alguns casos de sucesso, como a lei de Hubble, esses preconceitos podem representar sérios riscos na interpretação dos resultados. Para melhorar a qualidade da ciência e, em particular, a sua reprodutibilidade, os investigadores devem incentivar o uso de métodos de trabalho mais lentos, que permitam uma tomada de decisão mais racional e calma. Como os vieses que nos atingem são impossíveis de eliminar, a maneira mais eficaz de minimizar os seus efeitos é através da autocrítica. Nesse sentido, o mais importante é lembrar, como indica o princípio de Feynman que encabeça este artigo, que nós próprios somos a pessoa mais fácil de enganar.

@DayInLab

---

Referências

1. Cho, Z.-J. Jia, F. H. Arnold, “Site-selective enzymatic C‒H amidation for synthesis of diverse lactams”, Science Nº 364, p. 575 (2019); I. Cho, Z.-J. Jia, F.H. Arnold, “Retraction”, Science Nº 367, p. 155 (2020).
2. Baker, Is there a reproducibility crisis?, Nature Nº 533, p. 452 (2016).
3. Caldwell, D. Lindberg, “Understanding Science”, University of California Museum of Paleontology (2019). (http://www.understandingscience.org)
4. Kahneman, “Thinking, fast and slow”, Penguin (2012).
5. L. Sackett, “Bias in analytic research”, J. Chron. Dis. Nº 32, p. 51 (1979).
6. Dimara, S. Franconeri, C. Plaisant, A. Bezerianos, P. Dragicevic, “A task-based taxonomy of cognitive biases for information visualization”, IEEE Trans. on Visualization and Computer Graphics Nº 26, p.1413 (2018).
7. É importante realçar que os vieses não afetam só a metodologia do trabalho científico, mas também o processo de revisão deste trabalho, uma vez que são cientistas que julgam a validade dos artigos. Alguns exemplos notáveis de revisão, como a rejeição do artigo da revista Nature sobre a hipoxia de Peter John Ratcliffe (Prémio Nobel de Medicina 2019), poderiam ser melhor compreendidos à luz de alguns vieses cognitivos.
8. C. Farman, B.G. Gardiner, J.D. Shanklin, “Large losses of total ozone in Antarctica reveal seasonal ClOx/NOx interaction”, Nature Nº 315, p. 207 (1985).
9. Hubble, “A relation between distance and radial velocity among extra-galactic nebulae”, PNAS Nº 15, p. 168 (1929).
10. Sabe-se que a considerável dispersão de dados do Hubble se deve, entre outras coisas, ao efeito da velocidade peculiar das estrelas em relação a uma galáxia usada como sistema de referência.
11. G. Riess, W.H. Press, R.P. Kirshner, “A precise distance indicator: type Ia supernova multicolor light curve shapes”, Astrophysical Journal Nº 473, p. 88 (1996).
12. G. Riess et al., “A 2.4% determination of the local value of the Hubble constant”, Astrophysical Journal Nº 826, p. 56 (2016).
13. Wald, A reprint of “A method of estimating plane vulnerability based on damage of survivors” by Abraham Wald, Statistical Research Group, CRC 432 (1980).
14. A citação original é atribuída a Peter F. Drucker (1909-2005).
15. Honeycutt, S. Shirley, “Dieldrin”, Encyclopedia of Toxicology Nº 2, p. 107 (2014).
16. Carson, “Primavera silenciosa”, Crítica (2010).