EaPU e memristores: a aposta chinesa para reduzir o consumo de energia da IA

Os chips estão no limite e os medidores de eletricidade não param de girar: pesquisadores na China afirmam ter encontrado um avanço que pode tornar a inteligência artificial muito mais econômica.

Hoje, os centros de dados para IA gastam tanta energia quanto cidades inteiras. Enquanto as empresas de tecnologia ainda desenham novas salas de servidores, cientistas estão ajustando outro ponto da cadeia: a tecnologia básica por trás de como as redes neurais calculam e aprendem. Uma equipe chinesa apresentou agora uma abordagem que promete economizar energia e, ao mesmo tempo, conviver melhor com as imperfeições do equipamento moderno.

Por que a IA consome tanta energia hoje

Por trás do ChatGPT, dos geradores de imagem e dos assistentes de voz existem redes neurais gigantescas. Em geral, elas operam em supercomputadores com enorme quantidade de processadores e placas gráficas. Cada ciclo de treinamento envolve bilhões de operações matemáticas, com dados indo e voltando o tempo todo entre a memória e as unidades de cálculo.

Esse vaivém é justamente o que custa tanta energia. Mesmo quando os chips ficam mais eficientes, a demanda cresce ainda mais rápido por causa dos modelos cada vez maiores. Analistas já alertam que o consumo elétrico dos centros de dados pode subir de forma acentuada nos próximos anos por causa da IA.

Uma saída possível é a chamada arquitetura em memória: em vez de buscar dados repetidamente na memória, os cálculos acontecem diretamente no local onde as informações estão armazenadas.

Memristores, EaPU e IA: calcular direto na memória

O centro do novo estudo são os memristores. Trata-se de componentes eletrônicos cuja resistência elétrica pode ser alterada de modo permanente. De forma simples: eles “se lembram” de quanta corrente passou por eles antes - daí a combinação de “memória” e “resistor” no nome.

Em redes neurais, os memristores podem ser usados para guardar as forças de conexão - ou seja, os pesos. Ao mesmo tempo, suas propriedades físicas permitem que eles participem diretamente dos cálculos. No papel, isso reduz bastante o gasto energético, porque muito menos dados precisam ser movimentados.

O problema é que os memristores não são perfeitos. Eles apresentam pequenas imprecisões, variam um pouco e geram ruído. Para modelos de IA que dependem de valores numéricos precisos, isso é um grande obstáculo. Até agora, essas imprecisões prejudicavam tanto a qualidade quanto a estabilidade das redes, a ponto de o ganho teórico de eficiência quase não poder ser aproveitado.

A ideia por trás do EaPU: aceitar falhas em vez de combatê-las

É justamente aí que entra o novo método vindo da China. Os pesquisadores criaram um procedimento de treinamento chamado “atualização probabilística ciente do erro”, abreviado como EaPU. A lógica por trás dele é pouco convencional: o sistema aceita pequenos erros em vez de tentar corrigi-los à força.

A estratégia central do EaPU: só gravar quando um parâmetro realmente precisar mudar de forma significativa - todas as microcorreções ficam de fora.

Na prática, o funcionamento é o seguinte:

• A rede neural verifica, a cada etapa de aprendizado, o quanto um peso precisaria mudar.
• Alterações muito pequenas, abaixo de um limite de tolerância, permanecem intocadas.
• Apenas uma fração minúscula dos pesos - menos de 0,1 por cento - é de fato gravada a cada passo.
• O método segue uma lógica probabilística: a decisão de atualizar depende do tamanho do erro e de componentes aleatórias.

O ponto principal é que gravar um memristor consome muito mais energia do que apenas lê-lo. Ao fazer com que a escrita seja necessária com extrema raridade, o algoritmo elimina praticamente o maior gasto energético do processo.

Economia de energia massiva e vida útil maior

Os pesquisadores relatam efeitos muito fortes. Em comparação com métodos anteriores de treinamento em memristores, o consumo de energia durante o aprendizado cai por um fator 50. O resultado fica ainda mais impressionante quando comparado com sistemas clássicos baseados em placas gráficas:

Segundo os cálculos da equipe, um sistema treinado com EaPU consome cerca de um milhão de vezes menos energia do que uma configuração equivalente baseada em conjuntos modernos de processadores gráficos.

Há também uma segunda vantagem: cada operação de escrita desgasta o memristor e encurta sua vida útil. Quando apenas uma parcela pequena das células é realmente gravada com frequência, os componentes duram muito mais. De acordo com o estudo, a expectativa de vida sobe pelo fator 1.000.

Surpreendentemente, os pesquisadores não registraram apenas menor consumo de energia, mas também melhores resultados. A precisão das redes aumentou cerca de 60 por cento em relação a abordagens anteriores com memristores. Com isso, o desempenho se aproxima do de supercomputadores convencionais.

Testes iniciais: remover ruído de imagens e ampliar detalhes

Para não ficar só na teoria, os cientistas usaram uma matriz real de memristores em escala nanométrica. Nela, fizeram redes neurais aprender duas tarefas:

• remover ruído de imagens
• reconstruir imagens em resolução mais alta (super-resolução)

Nos dois casos, os modelos alcançaram resultados comparáveis aos de métodos digitais convencionais - só que usando bem menos energia. O equipamento físico ainda tinha uma estrutura relativamente grosseira, algo que os próprios pesquisadores fazem questão de destacar: eles acreditam que componentes mais modernos e com estrutura mais fina podem ampliar ainda mais esses efeitos.

Isso também pode mover grandes modelos de linguagem?

A pergunta mais óbvia é: será que o EaPU pode ser aplicado a grandes modelos de linguagem, isto é, sistemas do porte do ChatGPT e similares? A resposta da equipe chinesa é: muito provavelmente sim, embora isso ainda não tenha sido testado.

Os princípios básicos do treinamento - muitos pesos, muitas correções pequenas, alta frequência de escrita - são parecidos em modelos de imagem e de linguagem. Em grandes modelos de linguagem, o ganho de economia seria enorme, porque eles trabalham com bilhões ou até trilhões de parâmetros. Mesmo que apenas uma pequena parcela deles continuasse sendo gravada com regularidade, o potencial de economia já seria gigantesco.

Os pesquisadores deixam claro que o EaPU não está preso aos memristores. Em teoria, o conceito também pode ser transferido para outros componentes, como:

• transistores ferroelétricos
• memórias RAM magnetorresistivas (MRAM)
• outras tecnologias de memória neuromórfica

Isso pode transformar o EaPU em uma espécie de modelo para hardware de IA de baixo consumo, independentemente da geração específica de chips.

O que memristores e afins significam para leigos

Para quem não lida com semicondutores todos os dias, os memristores podem ser imaginados como controladores analógicos com memória. Em vez de haver apenas “ligado” ou “desligado”, existem muitos níveis intermediários que ficam guardados de forma permanente. Uma rede neural precisa justamente dessas gradações finas para reconhecer padrões.

No computador tradicional, esses valores são armazenados de forma digital e recarregados a cada cálculo. Em uma matriz de memristores, eles ficam diretamente sobre uma grade física pela qual a corrente circula. Operações matemáticas que, em outro caso, exigiriam milhões de contas individuais acontecem ali em um único passo como processo físico.

A combinação entre comportamento analógico, função de memória e processamento local torna esses componentes especialmente interessantes - ainda mais num momento em que cada vez mais países e empresas tentam evitar sobrecarregar suas redes elétricas.

Oportunidades e dúvidas abertas para o futuro da IA

Para quem opera grandes centros de dados, o uso prático de EaPU e de hardware com memristores pode significar uma mudança de rota. Menor consumo de energia reduz não só os custos, mas também facilita a construção de novos locais, já que seria necessário menos refrigeração e menos infraestrutura.

Ao mesmo tempo, várias dúvidas continuam sem resposta: até que ponto esse tipo de sistema pode ser integrado às estruturas de IA já existentes? Que ferramentas de software seriam necessárias para que os desenvolvedores não precisem reescrever tudo do zero? E quão confiável é o comportamento de matrizes grandes de memristores ao longo de anos de uso contínuo?

Uma coisa parece certa: se os resultados divulgados agora forem confirmados em escala maior, a corrida por hardware de IA mais eficiente pode ganhar ritmo rapidamente. Enquanto alguns continuam apostando em fazendas de processadores gráficos cada vez maiores, essa proposta mostra que um treinamento mais inteligente - capaz de conviver com pequenas imperfeições - pode produzir tanto impacto quanto a próxima geração de chips.