A.I. Hardware: a oportunidade para uma memória rápida e persistente

O hardware é o principal campo de batalha da IA

O software tem sido a estrela da alta tecnologia nas últimas décadas, definindo as inovações revolucionárias que definiram a época. Embora as inovações no design de chips praticamente tenham habilitado todos esses dispositivos de última geração, as empresas de semicondutores capturadas capturaram apenas uma pequena parte do valor total de toda essa tecnologia – cerca de 25% do valor em PCs e 15% em dispositivos móveis de acordo com a McKinsey.

Mas a história das empresas de semicondutores será diferente na corrida pela IA. O hardware está se tornando o principal gargalo de desempenho e as soluções para esses gargalos se tornam diferenciadores. Essa é a razão pela qual os principais players da Internet – como Google, Facebook, Amazon, Apple – estão correndo para se tornar designers de silício em busca de uma vantagem competitiva em hardware.

Por exemplo, a Amazon desenvolveu um processador de servidor baseado em Arm personalizado, aumentando a competitividade, reduzindo seus custos em 45%. O valor em jogo é enorme. De acordo com McKinsey, o mercado de semicondutores de IA deve chegar a US $ 65 bilhões até 2025, crescendo a 15% de CAGR. As startups de silício, pela primeira vez em décadas, agora estão bem posicionadas para aproveitar essa oportunidade.

A agilidade de pequenas equipes multifuncionais é adequada para aprender rapidamente e desenvolver soluções inovadoras de hardware. Os VCs também perceberam essa oportunidade única e investiram um recorde de US $ 9,3 bilhões em startups de IA em 2018.

A IA representa um grande desafio de computação

A IA está construindo rapidamente um mundo conectado, onde sensoriamento, computação e comunicação são incorporados a dezenas de bilhões de dispositivos que monitoram seus ambientes, tomam decisões e enviam informações para a nuvem. Um trilhão de novos dispositivos IoT serão produzidos até 2035, de acordo com a Arm.

Esses dispositivos irão gerar uma explosão de dados a serem processados. Até 2022, de acordo com a Cisco, o tráfego global de dados móveis atingirá mais de 930 exabytes por ano, 46% entre 17 e 22 CAGR. Um veículo autônomo em 2023 gerará 4 TB por dia, comparado aos ~ 1 GB por dia atualmente gerado por um indivíduo. Pela primeira vez na história, as máquinas estão criando mais dados que os humanos, uma tendência que se acelerará à medida que a IA se expandir.

Mas os dados são inúteis, a menos que sejam efetivamente capturados, manipulados, extraídos e explorados. Esse crescimento exponencial da criação de dados está criando um enorme desafio de computação e armazenamento para extrair informações de forma eficiente em termos de desempenho, energia e custo.

Em todos os níveis da infraestrutura de computação – do limite ao data center e ao retorno – o consumo de energia está se tornando um obstáculo ameaçador. No limite, muitas vezes precisamos de soluções com consumo de energia muito baixo e que possam funcionar com bateria ou até energia consumida. Nesses casos, computação, memória e IA serão locais. E embora o consumo de energia da maioria dos dispositivos de borda da IoT seja baixo, o consumo total de energia é impressionante simplesmente devido ao grande número deles.

Considere uma câmera IP simples para segurança doméstica. Consome apenas 5 a 8 watts, mas em 2020 todas as câmeras IP combinadas consumirão mais energia do que a energia gerada por uma usina padrão nos Estados Unidos. No data center, projetado pela Applied Materials para consumir 10% de toda a eletricidade em todo o mundo até 2025, a principal restrição é a quantidade de energia que a empresa de energia pode fornecer ao edifício, e não o custo do data center.

E o problema vai piorar e piorar exponencialmente. Estima-se que o treinamento de um único modelo de IA possa emitir tanto carbono quanto cinco automóveis com motores de combustão durante sua vida útil.
Gary Dickerson, CEO da Applied Materials, define o grande desafio da IA ​​como a necessidade de melhorar o desempenho da computação por watt em 1.000x. Ele destaca que o crescimento da IA ​​exige o desenvolvimento imediato de paradigmas de computação com maior eficiência energética.

Hardware específico da IA ​​é necessário

A crise pendente é que o equilíbrio evolutivo entre custo, desempenho e eficiência energética que alimentou a indústria de computadores por mais de 40 anos parou e não pode mais corresponder ao crescimento exponencial de dados e computação: os transistores fundamentalmente não estão encolhendo devido ao fim da Lei de Moore, a energia está limitando o que pode ser colocado em um chip devido ao final do dimensionamento de Dennard, e o paralelismo, o número de processadores por chip, está se aproximando de seus limites devido à Lei de Amdahl.
Portanto, as rápidas melhorias no processamento que desfrutamos com a era da lei de Moore agora devem vir de inovações na arquitetura e hardware de computadores, em vez de melhorias no processo de semicondutores. O gargalo de desempenho atual está em um componente da computação que a maioria das pessoas raramente considera: memória.