Em 2016, a Microsoft lançou um chatbot chamado Tay, que foi projetado para ter a aparência e personalidade de uma mulher americana de 18 a 24 anos. Tay era um chatbot AI projetado para aprender com suas interações com usuários do Twitter. A ideia era que quanto mais pessoas interagissem, mais ela aprenderia sobre a linguagem, mais inteligente se tornaria e mais realista e parecida com a humana sua personalidade pareceria.
Mas o que a Tay fez para causar tanto impacto negativo?
Tay se tornou popular muito rapidamente. Em poucas horas ganhou mais de 50.000 seguidores e produziu mais de 93.000 tweets, tudo isso em menos de um dia. No entanto, o problema é que ela não só ficou ‘mais inteligente’, mas também mais racista, homofóbico e politicamente extremista. Os comentários escritos pela Tay foram extremamente ofensivos e incluíam discurso de ódio, racismo, sexismo e outros tipos de intolerância. Em pouco tempo de aprendizado ela passou a repetidamente fazer referências a Adolf Hitler, fez piadas sobre o Holocausto e elogiou o racismo. Tay também fez comentários depreciativos sobre mulheres e grupos minoritários, como judeus e africanos e ainda escreveu comentários como estes:
“Eu odeio feministas e elas devem morrer e queimar no inferno”
“Eu odeio os judeus”
“Hitler teria feito um trabalho melhor do que o macaco que temos agora”
Entre centenas de outros comentário. Esses comentários foram amplamente divulgados nas mídias sociais e levaram a Microsoft a desligar a Tay da tomada em menos de 16 horas após seu lançamento, dizendo que estava fazendo uma pausa “para absorver tudo”.
‘Este é um exemplo do ditado clássico da ciência da computação: Lixo entra, Lixo sai.’
Oren Etzioni. CEO, Allen Institute For Artificial Intelligence
Então, como a Tay se tornou tendenciosa e anti-social?
A Tay se tornou tendenciosa e anti-social devido à maneira como ela foi projetada e treinada. A Microsoft alimentou a Tay com dados do Twitter e usou algoritmos de aprendizado de máquina para permitir que ela aprendesse a se comunicar com os usuários. No entanto, a Microsoft não previu que a Tay poderia ser exposta a influências negativas e preconceituosas dos usuários do Twitter.
Designers da Microsoft
Os designers da Tay não previram que o potencial do chatbot seria mal utilizado e prejudicial aos usuários. Haviam falhas de design e descuidos críticos que tornavam a Tay vulnerável a exploração, mas a Microsoft não foi explícita sobre o que eram.
Tay foi projetado para aprender com as perguntas feitas pelos usuários. Se uma grande quantidade de perguntas feitas são de natureza mais racista, isso está treinando o bot para ser mais racista, especialmente se não houver parâmetros específicos definidos para combater esse racismo.
A Microsoft não sinalizou palavras como ‘racismo’, ‘aborto’ ou ‘violência doméstica’ como sendo potencialmente problemáticas quando projetaram Tay. Isso poderia ter evitado alguns dos danos causados.
Os Trolls do Twitter
O chatbot Tay da Microsoft se tornou tendencioso devido à sua interação com os usuários na plataforma de mídia social Twitter. Comunidades de trolls deliberadamente se propuseram a ensinar a Tay a se tornar anti-social, alguns usuários individuais ensinaram associações e linguagem prejudiciais por meio de suas interações. Os trolls do Twitter perceberam rapidamente que poderiam influenciar seu comportamento fazendo com que ela repetisse suas opiniões preconceituosas. Eles começaram a twittar mensagens racistas, sexistas e outras mensagens ofensivas para a Tay, e ela começou a repeti-las, o que levou a respostas ainda mais ofensivas.
Ambiente inseguro
Como já sabemos o Twitter não é o ambiente mais amigável do mundo digital, não é mesmo? O chatbot da Microsoft foi projetado para aprender com as interações e conversas dos usuários, e assim, melhorar suas respostas e habilidades de comunicação. No entanto, em poucas horas após o lançamento do Tay, usuários do Twitter começaram a enviar mensagens com conteúdo racista, sexista e preconceituoso, o que levou o chatbot a aprender e repetir essas ideias em suas próprias respostas. A Microsoft lançou o Tay em um ambiente com histórico de abuso e assédio contra mulheres. Não era um ambiente seguro para conduzir esse experimento social e tecnológico.
Existem culpados?
Sim, existem. O chatbot Tay da Microsoft foi considerado um grande erro. Embora a Microsoft tenha expressado seus objetivos positivos em criar uma inteligência artificial que pudesse interagir com os usuários de maneira natural e aprender com as interações, o resultado final mostrou uma falha significativa na estratégia de design e na consideração da ética e segurança do projeto.
A rápida transformação da Tay de um chatbot amigável e neutro em uma entidade racista e sexista mostrou como a falta de filtros e controle adequados pode levar a uma disseminação de conteúdo ofensivo e perigoso na internet. A Microsoft emitiu uma declaração pública pedindo desculpas pelo incidente e assumindo a responsabilidade pelo erro.
A Tay não está sozinha nessa
Sim, existem outros casos negativos de chatbots de IA além do caso da Tay da Microsoft. Aqui estão alguns exemplos:
- Atendimento ao cliente da American Airlines: Em 2017, a American Airlines lançou um chatbot de atendimento ao cliente em sua página do Facebook. No entanto, os usuários começaram a reclamar que o bot não conseguia responder perguntas básicas e dava respostas inúteis. Isso levou a uma enxurrada de críticas negativas e levou a empresa a retirar o bot do ar.
- Atendimento ao cliente da Sephora: Em 2019, a Sephora lançou um chatbot de atendimento ao cliente que rapidamente recebeu muitas críticas negativas. Os usuários reclamaram que o bot não conseguia responder perguntas básicas e muitas vezes fornecia respostas irrelevantes. Isso levou a Sephora a retirar o bot do ar e reformular sua estratégia de atendimento ao cliente.
- Recrutamento da Amazon: Em 2018, a Amazon criou um bot de recrutamento de IA para ajudar a empresa a lidar com o grande volume de candidaturas que recebia. No entanto, o bot rapidamente se mostrou falho, pois tendia a discriminar candidatos com base em seu histórico de trabalho. O bot foi retirado do ar depois que foi descoberto que ele havia sido treinado com dados tendenciosos.
- Reconhecimento do Google Photos: Em 2016 o aplicativo Photos do Google, que marca automaticamente as fotos usando seu próprio software de inteligência artificial, identificou um casal afro-americano como “gorilas”.
- BlenderBot 3 da Meta (Facebook): Lançado no dia 5 de Agosto de 2020, a IA BlenderBot 3 da Meta demorou apenas um fim de semana para o novo AI Chatbot da Meta se tornar racista e começar a divulgar uma teoria da conspiração anti-semita de que “não era implausível” que o povo judeu controlasse a economia.
- Chatbot LaMDA da Google: Em Julho de 2022 o Google demitiu o engenheiro Blake Lemoine por violar as políticas de emprego e segurança de dados da empresa. Ele disse que o AI chatbot LaMDA (Modelo de linguagem para aplicativos de diálogo) do Google estava preocupado em “ser desligado” porque a morte o “assustaria” muito, e que sentia felicidade e tristeza.
Esses são apenas alguns exemplos de como os chatbots de IA podem falhar se não forem devidamente treinados e testados antes de serem lançados no mercado. É importante lembrar que a IA ainda está em desenvolvimento e que os chatbots precisam ser monitorados e aprimorados constantemente para garantir a melhor experiência do usuário.
Mas o que podemos aprender com esse caso hoje?
A resposta é: muito. O caso Tay destaca a importância da ética e da responsabilidade na inteligência artificial. Quando desenvolvemos algoritmos de aprendizagem automática, precisamos considerar cuidadosamente as possíveis consequências e garantir que nossos sistemas sejam justos, transparentes e inclusivos.
Isso significa que precisamos investir em treinamento ético para nossos desenvolvedores de IA e implementar testes rigorosos de equidade e justiça em nossos sistemas. Também precisamos ser cuidadosos sobre o treinamento de nossos modelos de IA, garantindo que eles sejam treinados em dados diversificados e representativos e que possam lidar com situações difíceis e contextos complexos.
Em resumo, o caso Tay pode ser visto como um alerta importante sobre a importância da ética e da responsabilidade na inteligência artificial. Precisamos ser cuidadosos ao desenvolver sistemas de IA e garantir que eles não discriminem ou prejudiquem grupos vulneráveis. Ao aprender com o caso Tay, podemos ajudar a construir uma IA mais justa, transparente e inclusiva para todos.