O incrível caminho para 122 TB: décadas de feitos de engenharia levaram a este marco

Martin Brody, chefe de polícia de Amity Island, profere as palavras imortais em um momento-chave em  Jaws , de 1975. Ele acaba de ver de perto o tubarão assassino que sua equipe está caçando pela primeira vez e, em um momento de terror, informa ao Capitão Sam Quint que seu equipamento é totalmente inadequado para o trabalho.

Você vai precisar de um barco maior.

Dois anos após o boom da inteligência artificial, a indústria de tecnologia está tendo seu próprio momento Jaws. A IA, ao que parece, usa muitos dados.

De acordo com a FutureTech , o tamanho médio de um conjunto de treinamento de modelo de IA em 2021 foi de 42 bilhões de pontos de dados. Isso mais que dobrou em 2022 para 105 bilhões. Então esse número se multiplicou por mais de seis em outro ano, para 750 bilhões de pontos de dados em 2023 para o conjunto de dados de treinamento de IA médio.

Comparação de cargas de trabalho de barco pequeno e IA. SSDs de alta densidade são como um barco maior diante de grandes ondas

Uma solução é lançar mais dispositivos de armazenamento no problema. Discos rígidos estão amplamente disponíveis em capacidades de até 24 terabytes (TB) hoje. Se você precisar de mais 10 petabytes (PB) de armazenamento para treinar seu modelo mais recente, basta adicionar mais 417 deles!

O problema com essa abordagem, é claro, é que os discos rígidos 417 consomem muita energia e espaço em rack. Sem mencionar o trabalho extra associado ao resfriamento de tantos discos e à substituição deles quando falham.

A outra solução: um barco maior. A Solidigm anunciou recentemente que seu SSD de maior capacidade, o D5-P5336 , estará disponível no Q1’25 com capacidade de 122,88 TB. Isso é mais de 5x o espaço do disco rígido mencionado anteriormente. Você precisaria de apenas 84 para armazenar 10 PB.

Quanto armazenamento é 122,88 TB? Aproximadamente o suficiente para cópias de qualidade 4K de todos os filmes lançados nos cinemas na década de 1990, 2,6 vezes mais. Ou todo o conteúdo do catálogo de músicas dos Beatles, mais de 144 mil vezes mais. Ou as obras coletadas de William Shakespeare, mais de 17 milhões de vezes. Tudo no tamanho de um baralho de cartas.

Esse tipo de densidade não acontece por acaso. Vamos rever algumas inovações técnicas importantes que abriram o caminho.

Pioneiros do QLC NAND

Para entender como a Solidigm desenvolveu a capacidade para SSDs tão massivos, vamos desviar brevemente para 2018. Foi quando a Intel lançou o SSD 660p , o primeiro dispositivo de armazenamento do mundo baseado em QLC, ou quad-level-cell, NAND. A Solidigm surgiu da venda do grupo de armazenamento da Intel para a SK hynix em 2021 , e continuou a desenvolver essa tecnologia QLC.

O QLC funciona armazenando quatro bits de informação por célula NAND, um aumento de 33% em relação à mídia TLC amplamente usada naquela época e hoje. Embora esse primeiro produto tenha sido criado para computadores pessoais – não data centers – e tenha chegado a 2 TB, ele estabeleceu as bases para drives cada vez mais densos.

Avançando para hoje. A Solidigm está enviando sua quarta geração de SSDs baseados em QLC NAND . Graças aos avanços técnicos desde 2018, incluindo a introdução do D5-P4326, D5-P5316 e, claro, D5-P5336, a barreira de 100 TB de dispositivo único é história. Cada geração de mídia trouxe saltos não apenas em densidade, mas também em desempenho, resistência e confiabilidade.

A barreira de 100 TB para um único dispositivo é história

Conquistas de Hardware e Arquitetura

O SSD D5-P5336 incorpora inovação de alta densidade em seu núcleo. Cada aspecto do design foi meticulosamente otimizado para atingir a mais alta densidade de armazenamento em um espaço mínimo, tanto em tamanho quanto em consumo de energia. Os arquitetos e engenheiros da Solidigm dedicaram inúmeras horas para criar o SSD mais densamente compactado do mercado, definindo um novo padrão da indústria em densidade e eficiência de armazenamento.

O D5-P5336 atinge essa capacidade de escala sem precedentes por meio de diversas inovações revolucionárias:

Expansão da largura de banda de mídia: enquanto a maioria dos fornecedores de SSD depende de switches ativos que continuamente amostram o barramento no lado do SoC e retransmitem no lado do NAND, consumindo energia mesmo quando ociosos, a Solidigm projetou o multiplexador de barramento NAND de alta velocidade — um switch passivo que consome quase zero energia. Esse avanço permite que o D5-P5336 maximize a eficiência energética, o que é crucial à medida que a densidade do SSD e o número de componentes NAND aumentam.

Design de placa e NAND: Nossos insights do setor nos levaram a introduzir placas de circuito impresso (PCBs) dobradas para designs de SSD U.2 de alta densidade, uma inovação crítica para o SSD de 122 TB. Este design se encaixa em um grande número de sites NAND junto com memória, controlador e outros componentes na placa. Com o menor pacote NAND do setor, a Solidigm pode integrar mais pacotes por placa. Ao fazer a transição para um passo de esfera mais fino, reduzimos o tamanho do controlador de 23×23 mm para 19×19 mm. Além disso, o uso de capacitores eletrolíticos de alumínio, que têm uma pegada menor do que os capacitores de tântalo de polímero, minimizou significativamente os requisitos de espaço para proteção contra perda de energia.

Adaptabilidade de energia: além do padrão de 25 W, o SSD Solidigm série D5-P5536 também suporta modos de baixo consumo de energia. Graças ao algoritmo de ponta para escalonar o uso do componente NAND, o D5-P5336 122 TB oferece desempenho excepcional com alta eficiência de energia. Ele permite que os clientes adaptem a energia e o desempenho aos seus próprios requisitos de sistema de armazenamento e aloquem orçamentos de energia de forma eficaz entre recursos de computação, rede e armazenamento. 

Conhecendo o momento da IA

O SSD de 122,88 TB da Solidigm não poderia ter chegado ao mercado em melhor hora.

As demandas por conteúdo de IA estão explodindo tanto no lado do treinamento quanto da inferência. Na corrida por modelos cada vez mais capazes e sofisticados, os desenvolvedores estão alimentando conjuntos de dados cada vez maiores em clusters de IA. Há apenas alguns anos, um modelo com uma contagem de parâmetros na casa dos milhões era impressionante. Hoje, estamos bem no território de centenas de trilhões de parâmetros – e além. O QLC de alta densidade leva anos para se desgastar sob cargas de trabalho sintéticas típicas. As primeiras estimativas mostram que o D5-P5336 122,88 TB executando gravações aleatórias de 32 KB ou 4 KB com ciclo de trabalho de 100% 24 horas por dia, 7 dias por semana, não desgastará esta unidade nos cinco anos de vida útil da garantia. Isso significa resistência ilimitada a gravações aleatórias durante a vida útil da garantia da unidade. 

Mostrando setas laranja subindo na paisagem digital em segundo plano. Dados de IA crescendo em ritmo acelerado precisam de dispositivos de armazenamento de dados de 122 TB

Modelos implantados também precisam desse espaço. Modelos generativos para imagens e vídeos frequentemente lidam com entradas e saídas individuais que são centenas de vezes maiores que as de texto. E em muitos casos, esses modelos estão processando milhares ou até milhões de solicitações por semana. Reter todos esses dados para fins de arquivamento ou retreinamento é um empreendimento significativo.

E a IA está cada vez mais acontecendo em lugares fora do data center. A inferência de borda e o ajuste fino são práticas crescentes entre empresas que preferem mover sua infraestrutura em direção aos seus dados, em vez do inverso. Há muitos bons motivos para querer fazer isso – latência e segurança entre eles – e a densidade de armazenamento se torna ainda mais crítica na borda, onde servidores no local e dispositivos de endpoint têm restrições de espaço muito mais rígidas.

Mais do que apenas a necessidade de armazenar todos esses dados, porém, há um desafio central para todo o progresso da IA: eficiência energética. Veja nossa landing page de IA para mais detalhes sobre como SSDs ultradensos podem aliviar esse problema. Em resumo, quanto mais cada unidade puder armazenar, menos unidades você precisará alimentar.