Novos chips de IA prometem revolucionar o treinamento, usando até um milhão de vezes menos energia.

Durante a corrida de empresas como Microsoft, Google e OpenAI para treinar modelos cada vez maiores, o consumo de energia dos sistemas de IA dispara em ritmo acelerado. Hoje, fazendas de servidores já exigem tanta eletricidade quanto cidades inteiras. Agora, uma equipe de pesquisa chinesa mostra que uma nova técnica, combinada com componentes especializados, pode permitir que redes neurais gastem apenas uma fração da energia usada atualmente - sem perdas grandes de desempenho.

Por que a IA hoje consome tanta energia

Toda IA moderna, seja um gerador de imagens ou um modelo de linguagem como o ChatGPT, se apoia em redes neurais profundas. Essas redes são formadas por milhões a bilhões de parâmetros, que são ajustados o tempo todo durante o treinamento. É justamente esse processo contínuo de cálculo e gravação de dados que consome energia em escala muito alta.

Atualmente, a maioria dos modelos roda em hardware convencional:

• processadores gráficos (GPU) em clusters enormes
• CPUs de alto desempenho em supercomputadores
• chips de memória entre os quais os dados são movidos sem parar

O gargalo é simples: os dados precisam ir repetidamente da memória ao processador e voltar. Esse transporte constante consome muita energia e derruba de forma significativa a eficiência.

Memristores e IA: componentes que conseguem “lembrar”

Uma das alternativas mais promissoras segue outro caminho: calcular diretamente na memória, sem ficar deslocando dados o tempo inteiro. É aí que entram os chamados memristores.

Memristores são componentes eletrônicos capazes de fazer duas coisas ao mesmo tempo:

• armazenar um valor de resistência, ou seja, uma espécie de “peso” da rede neural
• executar cálculos localmente, dentro do próprio componente

Com isso, é possível montar uma arquitetura de computação analógica em que as operações matriciais de uma rede neural acontecem diretamente nos chips de memristor. Isso reduz deslocamentos, diminui o calor gerado e, por consequência, economiza energia.

O problema é que memristores não são perfeitos. Eles produzem ruído e pequenos erros na escrita. Até agora, foi exatamente isso que limitou fortemente o desempenho de sistemas de IA baseados nessa tecnologia.

Nova metodologia de treinamento: tolerância ao erro em vez de perfeccionismo

Pesquisadores do laboratório chinês de Zhejiang seguiram uma abordagem diferente: em vez de lutar contra a imprecisão do hardware, eles a aceitaram e transformaram essa característica em vantagem. O método recebeu o nome de “atualização probabilística ciente de erros”, abreviado como EaPU.

A ideia central do EaPU é esta: nem toda diferença mínima durante o treinamento precisa ser gravada de imediato no hardware - muitas alterações simplesmente não fazem falta.

Em vez de reescrever todos os parâmetros a cada etapa do treinamento, o sistema funciona assim:

• ele verifica se a mudança é realmente maior do que o limiar de erro do memristor
• pequenas variações são descartadas, porque já se perderiam no ruído
• apenas uma parcela extremamente pequena dos pesos é de fato atualizada - menos de 0,1 por cento por passo

Essa ideia, que parece simples, traz vários efeitos ao mesmo tempo: menos operações de escrita, consumo de energia muito menor e vida útil mais longa para os componentes.

Consumo de energia reduzido em um fator 50 - e além

Os pesquisadores testaram o EaPU em uma matriz de memristores com largura de estrutura de 180 nanômetros. Foram treinadas redes neurais para tarefas como remoção de ruído em imagens e super-resolução, isto é, aumento da escala de imagens com mais detalhes preservados.

Os resultados são expressivos:

• no treinamento sobre memristores, a demanda energética cai em um fator 50 em comparação com métodos anteriores baseados em memristores
• como há muito menos escrita nos componentes, a vida útil esperada dos chips sobe em um fator 1.000
• a precisão melhora em 60 por cento em relação a abordagens anteriores com memristores e alcança um nível comparável ao de supercomputadores tradicionais

Quando a comparação é feita com sistemas baseados em GPU, a diferença fica ainda mais dramática: segundo a equipe, o consumo de energia pode cair em até seis ordens de grandeza - ou seja, aproximadamente em um fator um milhão. Vale ressaltar: isso se refere ao treinamento em condições ideais no arranjo experimental deles, e não a um data center completo.

Grandes modelos de linguagem também poderiam se beneficiar?

Até agora, o EaPU foi testado apenas em montagens experimentais relativamente pequenas. A matriz de memristores tinha capacidade limitada, e as redes treinadas eram muito menores do que um modelo de linguagem de grande porte como o GPT-4. Ainda assim, o grupo de pesquisa faz uma projeção: em princípio, o método também deveria ser transferível para modelos de linguagem grandes.

O motivo é que modelos maiores sofrem de forma especialmente intensa com gravações frequentes e com números gigantescos de parâmetros. Uma técnica que altera só uma fração mínima dos pesos a cada passo se encaixa exatamente nesse cenário.

Os pesquisadores apontam mais possibilidades:

• o método provavelmente pode ser aplicado a outras tecnologias de memória, como transistores ferroelétricos
• também há espaço para memórias magnetorresistivas (MRAM)
• no longo prazo, podem surgir aceleradores de IA inteiros baseados em arquiteturas com EaPU

Por que a tolerância ao erro pode virar estratégia-chave na IA

Sistemas digitais de computação tradicionalmente buscam a máxima precisão. Qualquer erro de bit costuma ser tratado como problema. As redes neurais funcionam de outro jeito: elas suportam incerteza, desde que o comportamento geral continue correto. É exatamente nesse ponto que o EaPU atua.

Em vez de gastar muito esforço para combater toda imprecisão do hardware, o método aproveita a robustez natural das redes neurais.

Isso abre caminho para um hardware que não seja perfeito, mas extremamente eficiente. Um pequeno erro no peso de um neurônio não destrói o modelo - ele simplesmente se dilui na estatística geral.

O que isso pode significar para data centers e usuários

Se o EaPU se provar viável na prática, isso terá impacto direto na infraestrutura global de IA:

• data centers poderiam ser muito menores e mais econômicos, mantendo o mesmo desempenho
• os custos de eletricidade para treinar grandes modelos cairiam de forma acentuada
• tarefas de treinamento que hoje só funcionam em supercomputadores poderiam, no futuro, rodar em chips especializados e de baixo consumo

Para as empresas, isso reduziria a barreira para treinar modelos próprios. Para redes elétricas e para o clima, seria um alívio: menos uso de energia significa menos emissão de CO₂, desde que a eletricidade não venha integralmente de fontes renováveis.

A IA de alto nível poderia rodar em um laptop no futuro?

Um efeito colateral interessante é que, se treinamento e inferência se tornarem possíveis em hardware extremamente econômico, modelos muito mais potentes poderão rodar em dispositivos móveis. Seria plausível imaginar, por exemplo:

• smartphones executando grandes modelos de linguagem localmente
• notebooks com chips especializados de memristor ou MRAM
• dispositivos de borda em fábricas, carros ou eletrodomésticos com IA autônoma

Um exemplo do dia a dia: um sistema de câmera com IA poderia remover ruído e ampliar imagens diretamente no aparelho, sem enviar dados para a nuvem - e ainda assim com baixo consumo de energia.

Como a computação analógica pode mudar a IA

O conceito de “computação analógica na memória” é bem diferente da abordagem digital habitual. Em vez de bits precisos, os componentes trabalham com propriedades físicas como resistência, corrente ou tensão, que assumem valores contínuos.

Uma rede neural pode ser representada como uma matriz de pesos. Em um arranjo de memristores, cada componente corresponde a um peso. Quando se aplicam tensões específicas, as correntes que atravessam a matriz executam diretamente a multiplicação matricial - uma das operações centrais em modelos de IA. O resultado é uma espécie de calculadora física para redes neurais.

Como essa operação acontece de forma analógica em um único passo, boa parte do trabalho computacional digital deixa de existir. Isso economiza não só energia, mas também tempo. O maior obstáculo continua sendo a precisão - e é justamente aí que o EaPU entra com sua tolerância ao erro.

Riscos, questões em aberto e próximos passos

Mesmo com resultados animadores, ainda existem pontos a resolver:

• escalabilidade: o EaPU continua estável e reproduzível com bilhões de parâmetros?
• fabricação: é possível produzir chips de memristor ou MRAM em grandes volumes com confiabilidade?
• ecossistema de software: desenvolvedores precisarão de ferramentas, frameworks e compiladores que deem suporte a essas arquiteturas

Além disso, há a questão de como erros de computação analógica afetam aplicações críticas de segurança. Em áreas como medicina, direção autônoma ou sistemas financeiros, engenheiros terão de definir com precisão qual taxa de erro é aceitável.

Mesmo com essas pendências, uma tendência já aparece com clareza: a IA do futuro provavelmente vai depender muito mais de hardware especializado, operando próximo aos limites físicos. Técnicas como o EaPU mostram que a chave não está apenas em modelos cada vez maiores, mas também em arquiteturas mais inteligentes e mais econômicas em recursos.