Por onde a luz entra

Cory Doctorow é um autor tão necessário quanto desconhecido no Brasil. Quem ainda não leu, vale a pena conferir o seu blog.

Doctorow é um ferrenho defensor dos direitos e liberdades digitais. Uma de suas teorias mais famosas é a do “Centauro Reverso”, em que critica os usos correntes da tecnologia. Em lugar dos humanos usarem as máquinas para ampliar sua força — tal como o centauro mitológico cuja forma meio humano, meio cavalo, une as potências de ambos — as máquinas é que estariam utilizando os humanos para maximizar as suas capacidades.

A associação recém-estabelecida entre humanos e inteligências artificiais ilustra isso: os humanos fornecem dados às máquinas, e elas utilizam esses dados à sua maneira.

O avanço recente das IAs — em especial dos grandes modelos de linguagem (LLM) — está atrelado a duas revoluções simultâneas: (i) a disponibilização de enorme quantidade de dados por meio da internet; e (ii) a evolução das técnicas de análise desses dados, em especial a chamada machine learning.

A machine learning é a técnica em que as máquinas “aprendem” por si mesmas — ou, de modo mais exato, “aprendem” com os dados. Basicamente, as máquinas aprendem sozinhas à medida que (i) ingerem grandes volumes de dados; (ii) identificam padrões e relações; e (iii) usam esse conhecimento para tomar decisões.

Ao contrário dos sistemas convencionais, programados linha por linha pelos engenheiros humanos, as máquinas inteligentes não estão vinculadas às decisões pré-programadas pelos humanos. Os dados não são meramente reprojetados pela máquina, e sim cultivados, germinando um conhecimento estruturado em camadas de crescente profundidade (deep learning).

As camadas interconectadas formam uma rede neural artificial em que as unidades de processamento da IA simulam as atividades dos neurônios no cérebro humano. Quando a IA recebe um comando, os milhões de neurônios interagem entre si e produzem uma resposta. Só que a interação entre os neurônios ao longo das camadas, de tão complexa e autossuficiente, não é facilmente compreensível nem mesmo pelos criadores da IA.

Se um usuário indagar “qual a capital do Brasil?”, e o chatbot responder “Buenos Aires”, não há como saber por que a IA errou, ou por que alguém pode perguntar a mesmíssima coisa e receber outra resposta. Essa falta de informações a respeito da cadeia de raciocínio das IAs é conhecida como problema da caixa-preta (black box).

Há quem diga que isso é natural. Que qualquer máquina em estágio inicial de desenvolvimento é mal compreendida, a exemplo da máquina a vapor que permaneceu um mistério mesmo após testada com sucesso, como Joler e Pasquinelli (2020) destacam. Só que as IAs não se comparam com nenhuma tecnologia anterior, já que geram respostas e decisões em contextos até então reservados aos humanos, como diagnósticos médicos, admissões universitárias, decisões judiciais, entre tantos outros.

A opacidade das IAs é razão suficiente para que muitos temam (com razão) que a tecnologia se torne uma ameaça. Se mal entendemos como funcionam, poderemos adotar medidas para atender preocupações relacionadas a viés, riscos de segurança e autonomia?

Ao menos até então, a evolução das IAs foi caracterizada pela corrida desenfreada em direção a modelos mais e mais avançados, enquanto a capacidade de explicação dos modelos é deixada de lado. O pior: quanto mais avançadas, mais complicado interpretá-las, já que a profundidade das redes neurais é proporcional ao volume de pesquisa e energia computacional necessárias para entender o seu funcionamento.

Ainda assim, ninguém parece muito preocupado em transparência diante da urgência em acelerar o desenvolvimento das IAs e desbancar os concorrentes.

Em âmbito estatal, a competição entre os países gera estímulos na direção inversa de regulações mais duras. Basta ver a recente coalizão entre senadores democratas e republicanos em que pleiteiam 32 bilhões de dólares em gastos anuais para assegurar a liderança americana em IA, mas evitam pedir novas regulamentações.

Nas empresas privadas, a corda também arrebenta do lado mais fraco. O melhor exemplo é a transformação radical da OpenAI, a priori uma empresa com foco em segurança (como Walter Isaacson conta em detalhes na biografia de Elon Musk, um dos fundadores da Open AI), mas que há anos sofre a demissão de diretores que discordam de suas políticas, como o pesquisador de machine learning Jan Leike que deixou a empresa semanas atrás.

Mal ficou desempregado e Jan Leike já ingressou na equipe de segurança da Anthropic, criadora do chatbot Claude, um dos principais concorrentes do ChatGPT. A Anthropic foi fundada há três anos por ex-funcionários da OpenAI, já preocupados com os rumos comerciais da empresa, e desde então se tornou um refúgio para os pesquisadores interessados em desenvolver IAs com “alinhamento” (termos da indústria para o compromisso em produzir IAs alinhadas aos valores humanos).

A dificuldade está em justificar o alinhamento enquanto desenvolve uma IA superpoderosa e conta com investimentos de Google e Amazon, como é o caso da Anthropic. Um importante precedente nesta direção apareceu dias atrás, quando pesquisadores da Anthropic divulgaram uma pesquisa que joga luz sobre a caixa-preta do Claude.

As descobertas estão disponíveis em postagem no blog da Anthopic — com o título Mapeando a Mente de um Grande Modelo de Linguagem — em que os pesquisadores identificaram padrões entre determinados inputs (relacionados a assuntos específicos) e a ativação de certos neurônios. Antes tarde do que mais tarde, isso representa os primeiros passos para interpretar o mapa cognitivo de um modelo de IA, muito embora os pesquisadores ressaltem que “ainda estamos estabelecendo as bases para tentar entender os fundamentos dos modelos”.

Na mitologia grega o Centauro não causa repulsa, pois o cavalo é considerado um animal com virtudes, tal como o homem. Já o Centauro Reverso, descrito por Cory Doctorow, representa nada menos que a posição subalterna dos humanos em relação às IAs. É preciso que a repulsa seja a ponto de empurrar, em definitivo, os esforços de interpretação das IAs — não só pela Anthopic, mas com a participação das demais empresas e do Estado em âmbito regulatório.