Para um atendimento médico justo e igualitário, precisamos de uma IA justa e livre de preconceitos

Em um estudo amplamente divulgado publicado na Science no ano passado, um grupo de pesquisadores da Universidade da Califórnia revelou que um algoritmo usado por hospitais dos EUA para sinalizar pacientes de alto risco e obter maior atenção dos médicos exibia um preconceito racial significativo. Os pacientes negros estavam menos propensos a serem sinalizados para cuidados adicionais do que os pacientes brancos, mesmo quando estavam igualmente doentes [1].

Tecnicamente, não havia nada de errado com o algoritmo e seus criadores nunca tiveram a intenção de fazer com que discriminasse alguém. Na verdade, projetaram o algoritmo para que não considerasse as características raciais. Então, o que fez com que se tornasse preconceituoso?

O problema era que, ao identificar pacientes de alto risco que precisavam de cuidados adicionais, o algoritmo estava prevendo custos futuros do atendimento médico, ao invés de doenças futuras. Como os pacientes negros nos EUA tendem, em média, a ter um acesso mais limitado a um atendimento médico de alta qualidade, normalmente incorrem em custos mais baixos do que pacientes brancos com as mesmas condições. Portanto, o fato de se basear nos custos do atendimento como um indicador do risco de doenças e de necessidades médicas coloca os pacientes negros em uma considerável posição de desvantagem. Quando, alternativamente, os pesquisadores fizeram uma simulação com dados clínicos, o percentual de pessoas negras encaminhadas para um atendimento médico adicional aumentou de 17,7 para 46,5% [i].

Então, como podemos garantir que a IA seja igualitária e ajude a reduzir as disparidades de saúde existentes ao invés de exacerbá-las?

Para mitigar efetivamente o risco de preconceito em IA no atendimento médico, devemos primeiro entender as diferentes maneiras pelas quais ele pode surgir.

O atendimento médico está sujeito a um alto risco de preconceito que tenta se infiltrar desde o início, no momento em que os dados para treinar um algoritmo são selecionados. Isso ocorre porque os conjuntos de dados disponíveis podem não ser representativos da população visada. Por exemplo, mulheres e negros são sabidamente sub-representados nos estudos clínicos [4,5]. A pesquisa de genômica está muito longe de adotar uma maior inclusividade, com 81% dos participantes sendo de ascendência europeia [6].

Dados tendenciosos implicam o perigo de uma IA tendenciosa. Pesquisadores expressaram suas preocupações no sentido de que os algoritmos que analisam imagens cutâneas poderiam deixar passar melanomas malignos em negros porque os algoritmos são predominantemente treinados em imagens de pacientes brancos [7]. Da mesma forma, alguns têm questionado se os algoritmos projetados para priorizar o atendimento aos pacientes portadores de COVID-19 estão na verdade aumentando o fardo da doença para as populações carentes [8]. Se essas populações não tiverem acesso aos testes de COVID-19, os algoritmos poderão não levar em conta suas necessidades e características porque estão sub-representadas nos dados de treinamento.

Escolhas feitas durante o processamento de dados e desenvolvimento de algoritmos também podem contribuir para o preconceito, mesmo que os dados propriamente ditos estejam livres de preconceitos. Por exemplo, diferenças relevantes entre as populações podem ser negligenciadas na busca de um modelo que, em tese, atenda a todos. Sabemos que muitas doenças se apresentam de forma diferente em homens e mulheres, entre elas as doenças cardiovasculares, diabetes ou transtornos de saúde mental como a depressão e o autismo. Ao não levarem essas diferenças em conta, os algoritmos poderiam ampliar as desigualdades de gênero já existentes [9].

Para terminar, é importante entender que o que é justo e inclusivo em determinado contexto pode não sê-lo em outro. Um exemplo revelador é um algoritmo que foi desenvolvido em um hospital de Washington para anotar resultados de exames nos relatórios de pacientes com câncer com base em observações do médico. O algoritmo teve um desempenho muito bom no hospital de Washington. Mas quando foi aplicado em um hospital de Kentucky, seu desempenho despencou. O motivo? Os médicos em Kentucky usavam uma terminologia diferente em suas observações [10].

A questão, então, é o que podemos fazer a respeito.

Os órgãos públicos e reguladores e os players do setor privado já reconheceram a necessidade de políticas e princípios orientadores claros para evitar o preconceito na IA.

Em uma tentativa de promover o uso benéfico e responsável da IA, a Comissão Europeia criou um Grupo de Especialistas de Alto Nível (HLEG) que publicou diretrizes sobre o que constitui uma IA confiável, incluindo "diversidade, não discriminação e equidade". Nos EUA, foi proposta a Lei de Responsabilidade Algorítmica, que pretende exigir que as empresas avaliem seus sistemas de IA para detectar riscos de decisões injustas, tendenciosas ou discriminatórias. E na China, a Administração Nacional de Produtos Médicos (NMPA) emitiu recentemente uma nova regulamentação [em chinês] para controlar o risco de preconceito em dispositivos médicos.

É claro que o valor de qualquer princípio é limitado pelas práticas que o corroboram. Devido ao fato de que muitas possíveis fontes de preconceito estão intrincadas nos dados de saúde da atualidade, refletindo desigualdades históricas e socioeconômicas, nosso setor tem pela frente desafios formidáveis a serem superados. Na verdade, a maioria desses desafios não são específicos da IA e da ciência de dados e exigem mudanças mais amplas e sistêmicas, como, por exemplo, aprimorar o acesso da população carente ao atendimento médico e tornar a pesquisa médica mais inclusiva.

No que se refere especificamente à IA e à ciência de dados, é necessária uma maior conscientização sobre a forma como o preconceito pode surgir em vários estágios de desenvolvimento de um algoritmo e como isso pode ser mitigado. A empreitada começa com treinamento e educação. Além disso, precisamos desenvolver sistemas sólidos de gestão de qualidade para monitorar e documentar a finalidade, a qualidade dos dados, o processo de desenvolvimento e o desempenho de um algoritmo. E, talvez mais fundamentalmente, precisamos incorporar a diversidade em todos os aspectos do desenvolvimento da IA.

Em primeiro lugar, para tornar a IA livre de preconceito e benéfica para todos é essencial que as pessoas que trabalham em IA reflitam a diversidade do mundo em que vivemos. Em um campo que tradicionalmente tem sido dominado por desenvolvedores brancos do sexo masculino, devemos fazer todos os esforços possíveis para promover uma cultura mais inclusiva.

Na Philips, intensificamos recentemente nossos compromissos com a diversidade de gênero em cargos de diretoria, e dentro do mesmo espírito, a inclusão e a diversidade (seja de gênero, etnia ou formação profissional) serão prioritárias para nós à medida que continuamos a expandir nossas capacidades em IA e ciência de dados.

Igualmente importante é que estamos promovendo uma intensa colaboração entre desenvolvedores de IA e especialistas clínicos para combinar os recursos de IA a uma compreensão contextual profunda do atendimento médico. Por exemplo, sempre que existirem diferenças conhecidas na manifestação de uma doença entre homens e mulheres ou entre diferentes grupos étnicos, os médicos podem ajudar a validar as recomendações algorítmicas de modo a garantir que não estejam prejudicando grupos específicos inadvertidamente.

A disponibilidade limitada de dados (de alta qualidade) pode ser um obstáculo significativo ao desenvolvimento de uma IA que represente com precisão a população visada. Para promover o desenvolvimento de uma IA justa e livre de preconceitos, devemos buscar agregar conjuntos de dados mais amplos, com abundância de anotações e coletados nas diversas instituições — de uma forma segura e protegida que preserve a privacidade do paciente.

Por exemplo, o Instituto Philips de Pesquisas de e-UTI foi criado como uma plataforma para promover o conhecimento sobre cuidados críticos, reunindo dados anonimizados de mais de 400 UTIs participantes nos EUA. O repositório de dados tem sido usado para desenvolver ferramentas de IA para cuidados críticos, incluindo um algoritmo que ajuda a decidir se um paciente está pronto para receber alta da UTI.

No contexto da COVID-19, os pesquisadores também solicitaram um compartilhamento mais amplo dos dados de pacientes entre instituições e até entre países para garantir que os algoritmos de apoio a decisões clínicas sejam desenvolvidos a partir de conjuntos de dados diversificados e representativos, ao invés de amostras limitadas convenientes de centros médicos acadêmicos [8].

Após ter sido desenvolvido, um algoritmo requer uma validação minuciosa para garantir que funcione com precisão em toda a população visada, não apenas em um subconjunto dessa população. Os algoritmos podem precisar ser retreinados e recalibrados quando forem aplicados a pacientes de diferentes países ou etnias, ou mesmo quando forem usados em hospitais diferentes no mesmo país.

É encorajador o fato de termos observado em nossa própria pesquisa, baseada no repositório de dados de e-UTIs, que os algoritmos derivados de dados provenientes de diversos hospitais tendem a se generalizar o suficiente para manterem sua eficácia em outros hospitais dos EUA não incluídos no conjunto de dados original. Mas um escrutínio cuidadoso é sempre necessário. Por exemplo, quando testamos na China e na Índia alguns de nossos algoritmos de pesquisa de e-UTIs desenvolvidos nos EUA , descobrimos que o retreinamento local era necessário.

Devido ao fato de que o risco de preconceito precisa ser cuidadosamente controlado, também precisamos ter salvaguardas sólidas em torno do uso de IA programada para o autoaprendizado. Um algoritmo pode ser cuidadosamente validado para o uso pretendido antes de sua introdução no mercado, mas o que acontecerá se continuar a aprender com novos dados nos hospitais onde for implementado? Como podemos garantir que esse preconceito não irá se infiltrar inadvertidamente? Como os reguladores também reconheceram, um monitoramento contínuo será necessário para garantir um desempenho justo e livre de preconceitos.

Ainda há muito trabalho a ser feito, mas acredito que, com uma diversidade adequada de pessoas, dados e validação, corroborada por sólidos sistemas de gestão de qualidade e processos de monitoramento, poderemos mitigar com sucesso o risco de preconceito em IA.

Por exemplo, sabendo que a doença cardíaca coronariana tem sido tradicionalmente subpesquisada, subdiagnosticada e subtratada em mulheres [11], poderíamos desenvolver algoritmos especificamente voltados a detectar ou prever as manifestações da doença em mulheres?

Em nossa era de medicina de precisão, na qual estamos cada vez mais migrando do paradigma de um modelo único para uma abordagem personalizada no atendimento médico, trata-se de um caminho interessante para novas pesquisas — que, naturalmente, devem respeitar integralmente os limites éticos, legais e regulatórios em torno do uso de dados pessoais confidenciais.

No futuro, posso imaginar que será possível sintonizar um algoritmo para uma população específica de pacientes visados, com vistas a um desempenho otimizado e sem preconceitos. Poderia ser mais um passo em direção a um futuro mais justo e inclusivo para o atendimento médico, facilitado por uma IA que não só reconheça a variação entre diferentes grupos de pacientes, mas seja projetada para capturá-la.

Notas