No cenário atual de IA, as capacidades estagnaram desde o lançamento do GPT-4, em grande parte devido às limitações no aumento do poder computacional para modelos únicos. Novos participantes, como o Gemini Ultra do Google e o LLAMA 3 da Meta, apesar de terem computação de treinamento FLOP comparável ou superior, não conseguem entregar devido às suas arquiteturas menos eficazes. A OpenAI mudou seu foco para a otimização de modelos menores e mais econômicos, adiando o desenvolvimento de modelos maiores e mais sofisticados. O próximo desafio significativo reside no treinamento de transformadores multimodais com vários trilhões de parâmetros, o que requer investimentos substanciais em clusters de GPU, cada um excedendo 100.000 GPUs e custando mais de US$ 4 bilhões, exigindo ampla infraestrutura e energia do datacenter. Esses clusters enormes exigem mais de 150 MW de energia e podem consumir até 1,59 terawatt-hora anualmente, apresentando obstáculos significativos em termos de confiabilidade, gerenciamento de energia e topologia de rede. A complexa tarefa de construir e manter estes sistemas é ainda mais complicada pelas altas taxas de falha de componentes, especialmente em redes, o que leva à exploração de diversas topologias de rede e estratégias de paralelismo. As empresas estão cada vez mais optando por soluções Ethernet como o Spectrum-X da Nvidia por seus benefícios de custo e desempenho, apesar de algumas limitações em comparação ao InfiniBand. Garantir a confiabilidade continua sendo fundamental, necessitando de estratégias robustas de tolerância a falhas e pontos de verificação eficientes para sustentar a continuidade do treinamento. Os desafios operacionais incluem o gerenciamento de volumes de comunicação, a otimização de projetos de rede e a mitigação de falhas de hardware, que podem afetar criticamente a eficiência do treinamento. A corrida para estabelecer uma infraestrutura de IA resiliente continua, com diversas metodologias sendo testadas para melhorar o desempenho e a confiabilidade em ambientes de treinamento em larga escala.
