Henry Kissinger: é assim que nossa era acabará

Três anos atrás, numa conferência sobre questões transatlânticas, o tema da inteligência artificial (IA) apareceu na agenda. Eu estava prestes a pular esse tema (estava fora das minhas preocupações habituais) mas o início da apresentação me segurou no meu lugar.

O palestrante descreveu o funcionamento de um programa de computador que logo desafiaria os campeões internacionais no jogo Go. Fiquei espantado que um computador pudesse dominar o Go, que é mais complexo que o xadrez. Nele, cada jogador desdobra 180 ou 181 peças (dependendo da cor que escolher), colocado alternadamente em um tabuleiro inicialmente vazio; a vitória vai para o lado que, tomando melhores decisões estratégicas, imobiliza seu oponente controlando mais efetivamente o território.

O palestrante insistiu que essa habilidade não poderia ser pré-programada. Sua máquina, ele disse, aprendeu a dominar o Go treinando-se através da prática. Dadas as regras básicas de Go, o computador disputava inumeráveis ​​jogos contra si mesmo, aprendendo com seus erros e refinando seus algoritmos de acordo. No processo, excedeu as habilidades de seus mentores humanos. E, de fato, nos meses seguintes ao discurso, um programa de IA chamado AlphaGo derrotaria decisivamente os maiores jogadores de Go do mundo.

Ao ouvir o palestrante celebrar esse progresso técnico, minha experiência como historiador e ocasional praticante estadista me deu uma pausa. Qual seria o impacto na história das máquinas de autoaprendizagem – máquinas que adquiriram conhecimento por processos particulares para si mesmas e aplicaram esse conhecimento a fins para os quais não pode haver categoria de compreensão humana? Essas máquinas aprenderiam a se comunicar umas com as outras? Como as escolhas seriam feitas entre as opções emergentes? Seria possível que a história humana seguisse o caminho dos incas, diante de uma cultura espanhola incompreensível e até inspiradora para eles? Estávamos à beira de uma nova fase da história humana?

Consciente da minha falta de competência técnica neste campo, eu organizei vários diálogos informais sobre o assunto, com a assessoria e cooperação de conhecidos em tecnologia e humanidades. Essas discussões fizeram com que minhas preocupações aumentassem.

Até então, o avanço tecnológico que mais alterou o curso da história moderna foi a invenção da imprensa no século 15, que permitiu a busca do conhecimento empírico para suplantar a doutrina litúrgica, e a Era da Razão gradualmente substitui a Era da Religião. O insight individual e o conhecimento científico substituíram a fé como o principal critério da consciência humana. As informações foram armazenadas e sistematizadas na expansão de bibliotecas. A Era da Razão originou os pensamentos e ações que moldaram a ordem mundial contemporânea.

Mas essa ordem está agora em turbulência em meio a uma nova revolução tecnológica ainda mais abrangente, cujas consequências não conseguimos concluir plenamente, e cuja culminação pode ser um mundo que depende de máquinas alimentadas por dados e algoritmos e não governada por normas éticas ou filosóficas.

A era da internet em que já vivemos prefigura algumas das questões e questões que a IA só tornará mais aguda. O Iluminismo procurou submeter às verdades tradicionais a uma razão humana analítica e liberada. O objetivo da internet é ratificar o conhecimento por meio do acúmulo e manipulação de dados sempre em expansão. A cognição humana perde seu caráter pessoal. Os indivíduos se transformam em dados e os dados se tornam reinantes.

Os usuários da Internet enfatizam a recuperação e manipulação de informações ao contextualizar ou conceituar seu significado. Eles raramente interrogam história ou filosofia; como regra, eles exigem informações relevantes para suas necessidades práticas imediatas. No processo, os algoritmos de mecanismo de pesquisa adquirem a capacidade de prever as preferências de clientes individuais, permitindo que os algoritmos personalizem os resultados e os disponibilizem para outras partes para fins políticos ou comerciais. A verdade se torna relativa. A informação ameaça sobrecarregar a sabedoria.

Inundados via mídia social com as opiniões de multidões, os usuários são desviados da introspecção; na verdade, muitos tecnófilos usam a internet para evitar a solidão que temem. Todas essas pressões enfraquecem a força necessária para desenvolver e sustentar convicções que podem ser implementadas apenas por uma estrada solitária, que é a essência da criatividade.

O impacto da tecnologia da internet na política é particularmente pronunciado. A capacidade de visar os microgrupos quebrou o consenso anterior sobre as prioridades ao permitir o foco em propósitos especializados ou queixas. Os líderes políticos, sobrecarregados por pressões de nicho, são privados de tempo para pensar ou refletir sobre o contexto, contratando o espaço disponível para que desenvolvam a visão.

A ênfase do mundo digital na velocidade inibe a reflexão; seu incentivo fortalece o radical sobre o pensativo; seus valores são moldados pelo consenso do subgrupo, não pela introspecção. Por todas as suas realizações, corre o risco de se virar sozinho, pois suas imposições sobrecarregam suas conveniências.

Uma é a internet e aumentou o poder de computação têm facilitado a acumulação e análise de dados enormes, vistas sem precedentes para a compreensão humana surgiram. Talvez o mais significativo seja o projeto de produzir inteligência artificial – uma tecnologia capaz de inventar e resolver problemas complexos, aparentemente abstratos, por processos que parecem replicar os da mente humana.

Isso vai muito além da automação como a conhecemos. Automação lida com meios; alcança objetivos prescritos racionalizando ou mecanizando instrumentos para alcançá-los. AI, pelo contrário, lida com fins; estabelece seus próprios objetivos. Na medida em que suas realizações são em parte moldadas por si, a IA é intrinsecamente instável. Os sistemas de IA, através de suas próprias operações, estão em constante fluxo à medida que adquirem e analisam instantaneamente novos dados, em seguida, procuram melhorar-se com base nessa análise. Através deste processo, a inteligência artificial desenvolve uma capacidade anteriormente pensada para ser reservada para os seres humanos. Faz juízos estratégicos sobre o futuro, alguns baseados em dados recebidos como código (por exemplo, as regras de um jogo), e alguns baseados em dados que se reúnem (por exemplo, jogando 1 milhão de iterações de um jogo).

O carro sem motorista ilustra a diferença entre as ações dos computadores tradicionais controlados por humanos e movidos a software e o universo que a IA busca navegar. Dirigir um carro requer julgamentos em múltiplas situações impossíveis de antecipar e, portanto, de programar antecipadamente. O que aconteceria, para usar um exemplo hipotético bem conhecido, se tal carro fosse obrigado pela circunstância a escolher entre matar um avô e matar uma criança? Quem escolheria? Por quê? Quais fatores entre suas opções tentaria otimizar? E isso poderia explicar seu raciocínio? Desafiada, sua resposta verdadeira provavelmente seria, se ela fosse capaz de comunicar: “Eu não sei (porque estou seguindo princípios matemáticos, não humanos)”, ou “Você não entenderia (porque eu fui treinado para agir em de certa maneira, mas não para explicá-lo)”.

Até agora confinada a campos específicos de atividade, a pesquisa da IA ​​agora busca criar um IA “geralmente inteligente” capaz de executar tarefas em múltiplos campos. Uma porcentagem crescente de atividade humana será, dentro de um período de tempo mensurável, orientada por algoritmos de IA. Mas esses algoritmos, sendo interpretações matemáticas de dados observados, não explicam a realidade subjacente que os produz. Paradoxalmente, à medida que o mundo se torna mais transparente, ele também se tornará cada vez mais misterioso. O que distinguirá esse novo mundo daquele que conhecemos? Como vamos viver isso? Como vamos administrar a IA, melhorá-la ou, no mínimo, impedir que ela cause danos, culminando na preocupação mais sinistra: aquela IA, dominando certas competências mais rápida e definitivamente que os humanos,

Uma inteligência artificial irá, com o tempo, trazer benefícios extraordinários para a ciência médica, fornecimento de energia limpa, questões ambientais e muitas outras áreas. Mas precisamente porque a IA faz julgamentos sobre um futuro em evolução, ainda não determinado, a incerteza e a ambiguidade são inerentes aos seus resultados. Existem três áreas de preocupação especial:

Primeiro essa IA pode alcançar resultados não intencionais. A ficção científica imaginou cenários de IA voltando seus criadores. Mais provável é o perigo de que a IA interprete mal as instruções humanas devido à sua inerente falta de contexto. Um exemplo recente famoso foi o IA chatbot chamado Tay, projetado para gerar uma conversa amigável nos padrões de linguagem de uma garota de 19 anos. Mas a máquina mostrou-se incapaz de definir os imperativos da linguagem “amigável” e “razoável” instalado por seus instrutores e, em vez disso, tornou-se racista, sexista e, de outra forma, inflamatória em suas respostas. Alguns no mundo da tecnologia afirmam que o experimento foi mal concebido e mal executado, mas ilustra uma ambiguidade subjacente: Até que ponto é possível permitir que a IA compreenda o contexto que informa suas instruções? Que meio poderia ter ajudado Tay a se definir como ofensivo, uma palavra sobre cujo significado os humanos não concordam universalmente? Podemos, em um estágio inicial, detectar e corrigir um programa de IA que esteja agindo fora do nosso quadro de expectativas? Ou será que a inteligência artificial, deixada à própria sorte, inevitavelmente desenvolverá ligeiros desvios que poderiam, com o tempo, cair em cascata em desvios catastróficos?

Em segundo lugar, que, ao atingir os objetivos pretendidos, a IA pode mudar os processos de pensamento humano e os valores humanos. AlphaGo derrotou o mundo Vá para os campeões fazendo movimentos estrategicamente sem precedentes – movimentos que os humanos não conceberam e ainda não aprenderam a superar com sucesso. Esses movimentos estão além da capacidade do cérebro humano? Ou os humanos poderiam aprendê-las agora que foram demonstradas por um novo mestre?

Antes que a IA começasse a jogar Go, o jogo tinha propósitos variados e em camadas: um jogador buscava não apenas vencer, mas também aprender novas estratégias potencialmente aplicáveis ​​a outras dimensões da vida. Por seu lado, pelo contrário, a IA conhece apenas um propósito: vencer. “Aprende” não conceitualmente, mas matematicamente, por ajustes marginais aos seus algoritmos. Então, ao aprender a ganhar, jogando de forma diferente do que os humanos, a IA mudou tanto a natureza do jogo quanto seu impacto. Será que essa insistência obstinada em prevalecer caracteriza toda a IA?

Outros projetos de IA trabalham na modificação do pensamento humano, desenvolvendo dispositivos capazes de gerar uma gama de respostas para consultas humanas. Além de perguntas factuais (“Qual é a temperatura externa?”), Questões sobre a natureza da realidade ou o significado da vida levantam questões mais profundas. Queremos que as crianças aprendam valores através do discurso com algoritmos sem restrições? Devemos proteger a privacidade restringindo o aprendizado da IA ​​sobre seus questionadores? Se sim, como podemos atingir esses objetivos?

Se a IA aprende exponencialmente mais rápido do que os humanos, devemos esperar que ela acelere, também exponencialmente, o processo de tentativa e erro pelo qual as decisões humanas são geralmente tomadas: cometer erros mais rapidamente e de maior magnitude do que os humanos. Pode ser impossível acalmar esses erros, como sugerem os pesquisadores em IA, incluindo em um programa advertências que exigem resultados “éticos” ou “razoáveis”. Disciplinas acadêmicas inteiras surgiram da incapacidade da humanidade de chegar a um acordo sobre como definir esses termos. Portanto, IA deve se tornar seu árbitro?

Terceiro, que a IA pode atingir os objetivos pretendidos, mas não consegue explicar a justificativa para suas conclusões. Em certos campos – reconhecimento de padrões, análise de big data, jogos – as capacidades da IA ​​já podem exceder as dos humanos. Se seu poder computacional continuar a se multiplicar rapidamente, a IA poderá em breve ser capaz de otimizar as situações de maneiras pelo menos marginalmente diferentes, e provavelmente significativamente diferentes, de como os humanos as otimizariam. Mas, nesse ponto, a IA será capaz de explicar, de uma forma que os humanos possam entender, por que suas ações são ótimas? Ou será que a tomada de decisão da IA ​​irá superar os poderes explicativos da linguagem e da razão humanas? Através de toda a história humana, as civilizações criaram maneiras de explicar o mundo ao seu redor – na Idade Média, religião; no Iluminismo, razão; no século XIX, história; no século 20, ideologia.

Como a consciência pode ser definida em um mundo de máquinas que reduzem a experiência humana a dados matemáticos, interpretados por suas próprias memórias? Quem é responsável pelas ações da IA? Como a responsabilidade deve ser determinada por seus erros? Um sistema legal projetado por humanos pode acompanhar as atividades produzidas por uma IA capaz de ultrapassar e potencialmente superá-las?

Em última análise, o termo inteligência artificial pode ser um equívoco. Para ter certeza, essas máquinas podem resolver problemas complexos, aparentemente abstratos, que anteriormente só se renderam à cognição humana. Mas o que eles fazem de maneira única não é pensar como antes concebido e experimentado. Pelo contrário, é uma memorização e computação sem precedentes. Devido à sua superioridade inerente nesses campos, a IA provavelmente ganhará qualquer jogo atribuído a ela. Mas para nossos propósitos como seres humanos, os jogos não são apenas sobre vencer; eles são sobre pensar. Ao tratar um processo matemático como se fosse um processo de pensamento, e ao tentarmos imitar a nossa criação ou simplesmente aceitar resultados que ela nos fornece, corremos o risco de perder a capacidade que tem sido a essência da cognição humana.

As implicações desta evolução são mostradas por um programa recentemente desenhado, AlphaZero, que joga xadrez em um nível superior aos mestres de xadrez e em um estilo não visto anteriormente na história do xadrez. Por si só, em apenas algumas horas de auto-jogo, alcançou um nível de habilidade que levou os seres humanos 1.500 anos para atingir. Apenas as regras básicas do jogo foram fornecidas ao AlphaZero. Nem os seres humanos nem os dados gerados pelo homem faziam parte de seu processo de auto-aprendizagem. Se AlphaZero foi capaz de atingir essa maestria tão rapidamente, onde estará IA em cinco anos? Qual será o impacto na cognição humana em geral? Qual é o papel da ética nesse processo, que consiste na essência da aceleração das escolhas?

Tipicamente, essas questões são deixadas para os tecnólogos e para a intelligentsia de campos científicos relacionados. Filósofos e outros no campo das humanidades que ajudaram a moldar conceitos prévios de ordem mundial tendem a ser desfavorecidos, carentes de conhecimento dos mecanismos da IA ​​ou de serem intimidados por suas capacidades. Em contraste, o mundo científico é impelido a explorar as possibilidades técnicas de suas conquistas, e o mundo tecnológico está preocupado com vistas comerciais de escala fabulosa. O incentivo de ambos os mundos é empurrar os limites das descobertas ao invés de compreendê-las. E a governança, na medida em que lida com o assunto, tem maior probabilidade de investigar as aplicações de segurança e inteligência da IA ​​do que explorar a transformação da condição humana que ela começou a produzir.

O Iluminismo começou com insights essencialmente filosóficos disseminados por uma nova tecnologia. Nosso período está se movendo na direção oposta. Gerou uma tecnologia potencialmente dominante em busca de uma filosofia orientadora. Outros países fizeram da IA um grande projeto nacional. Os Estados Unidos ainda não exploraram sistematicamente, como nação, todo o seu alcance, estudaram suas implicações ou iniciaram o processo de aprendizagem final. Isto deveria receber uma alta prioridade nacional, acima de tudo, do ponto de vista de relacionar IA a tradições humanísticas.

Os desenvolvedores de IA, tão inexperientes em política e filosofia quanto eu em tecnologia, devem se fazer algumas das perguntas que levantei aqui para criar respostas em seus esforços de engenharia. O governo dos EUA deve considerar uma comissão presidencial de eminentes pensadores para ajudar a desenvolver uma visão nacional. Isso é certo: se não começarmos logo esse esforço, logo descobriremos que começamos tarde demais.

 


Tradução do texto How the Enlightenment Ends de Henry A. Kissinger disponível em The Atlantic.