Kate Crawford é uma importante pesquisadora e professora que, nos últimos dez anos, tem estudado as implicações sociais dos sistemas de dados, aprendizado de máquina e inteligência artificial. Ela é codiretora e fundadora do AI Now Institute da New York University. Em sua palestra na Conferência Neural Information Processing Systems em 2017, Kate descreveu dois tipos de danos causados pela IA:
- Danos de Alocação
- Danos Representacionais
Danos de alocação ocorrem quando um sistema aloca oportunidades ou recursos para certos grupos, ou os retém. Esses danos costumam ser econômicos, relacionados a coisas como hipotecas, empréstimos ou seguros. Por exemplo, se o preconceito fez com que um aplicativo de apoio hipotecário negasse continuamente os pedidos a mulheres ou pessoas com menos de 30 anos, isso seria um prejuízo de alocação.
Danos representacionais ocorrem quando os sistemas reforçam a discriminação contra alguns grupos por causa de marcadores de identidade, como raça, classe, gênero, idade, crença ou habilidade. Esses danos podem ocorrer independentemente de os recursos estarem sendo alocados. Por exemplo, em 2015, um desenvolvedor de software negro expôs o Google ao twittar que o serviço de fotos da empresa havia rotulado fotos dele com um amigo negro como ‘gorilas’ (2). A associação foi um dano representacional.
Veja mais alguns casos de viés de Inteligência Artificial aqui:
Google Tradutor
O Google Tradutor é uma ferramenta útil para traduzir palavras e frases de diferentes idiomas. Ele oferece a capacidade de traduzir textos e conteúdos rapidamente e com precisão, tornando-se assim um importante recurso para quem precisa fazer traduções.
Foi demonstrado que o Google Tradutor faz suposições sobre o gênero ao traduzir entre um idioma e outro. Por exemplo, turco é um idioma de gênero neutro, o que significa que palavras como ‘engenheiro’ e ‘médico’ são usadas para homens e mulheres. No entanto, se você traduzir uma frase turca como ‘o bir muhendis’ para o inglês, ela se tornará ‘ ele é um engenheiro’, enquanto ‘o bir hemsire’ será traduzido como ‘ ela é uma enfermeira’. Isso mostra associações culturais entre engenheiros e homens, e entre enfermagem e mulheres. O Google Tradutor vem melhorando diariamente essa questão.
Entrega no mesmo dia do Amazon Prime
Redlining é uma prática discriminatória que coloca os serviços (financeiros e outros) fora do alcance dos residentes de certas áreas com base em raça ou etnia. Redlining é ilegal.
Em 2016, a Bloomberg publicou um relatório que mostrava como a Amazon limitava serviços importantes para áreas que tinham grandes populações afro-americanas. O artigo relacionou isso à prática de “redlining dos bancos”, prática pela qual os bancos se recusavam a dar hipotecas aos afro-americanos, mesmo que fossem financeiramente qualificados para isso, porque eram negros e viviam em áreas predominantemente minoritárias. Desde então, a Amazon ampliou o serviço para incluir mais códigos postais afetados pela prática de redlining.
Polarização de sotaque no Google Home
O Google Home é capaz de reconhecer polarizações de sotaque diferentes. Isso significa que você pode solicitar comandos à sua casa inteligente, independentemente de sua região ou cultura lingüística.
Um estudo recente conduzido pelo Washington Post revelou que norte-americanos com sotaques sulista e não nativo tinham menos chances de obter respostas precisas do dispositivo Google Home em comparação às pessoas com acentos ocidentais. Especificamente, isso significa que as pessoas com sotaque sulista têm 3% menos chance de obter uma resposta precisa e aqueles com sotaques não nativos têm 30% imprecisões.
Acreditamos que isso ocorre devido à falta de representatividade nos conjuntos de dados usados para treinar dispositivos como o Google Home. Como esses conjuntos não conseguem capturar a diversidade da população, os dispositivos não reconhecem as vozes de pessoas geralmente marginalizadas tão bem quanto outras.
Conclusão
Ao realizar meus estudos, eu procurei identificar três principais viés causados pela IA envolvendo grandes organizações em serviços considerados essenciais nos dias de hoje. A Inteligência Artificial reflete o que os humanos fariam e, portanto, é necessário mantermos os desafios de aprimorar o aprendizado para minimizar seus possíveis prejuízos.
Referências:
- The Trouble with Bias, NIPS 2017 Keynote , Kate Crawford, 2017
- Quando se trata de gorilas, o Google Fotos permanece cego , Tim Simonite, 2018
- Google Tradutor Pode ter um problema de gênero , Jack Morse, 2017
- A Amazon não considera a corrida de seus clientes. Deveria? , David Ingold e Spencer Soper, 2016
- Amazon Prime and the Racist Algorithms , Preston Gralla, 2016
- A voz é a próxima grande plataforma, a menos que você tenha sotaque , Sonia Paul, 2017