Mark Zuckerberg revelou o quanto de poder computacional será necessário para treinar o Llama 4, a próxima versão do LLM da Meta. Zuckerberg informou que a big tech precisará de 10 vezes mais capacidade computacional para terminar o Llama 4 — declaração dada durante a divulgação dos resultados financeiros. E esse poder de processamento crescerá com modelos futuros.
“A quantidade de capacidade computacional necessária para treinar o Llama 4 provavelmente será quase 10 vezes mais do que a usada para treinar o Llama 3. E modelos futuros continuarão crescendo além disso”
— Mark Zuckerberg
Meta vai atrás de expandir capacidade computacional
Expandir a capacidade computacional é um grande gasto, mas a Meta vai investir nisso. Zuckerberg explicou que prefere arriscar aumentar o desempenho mais cedo do que mais tarde. A declaração do CEO da Meta pode indicar que ele aprendeu com os erros e ouviu alguns acionistas.
Enquanto a OpenAI largava na frente e Google acelerava seus projetos, a Meta seguia falando de metaverso. Porém, a dona do WhatsApp conseguiu recuperar o tempo perdido e já utiliza ferramentas de IAs generativas em suas plataformas. Recentemente, a Meta lançou o Llama 3.1, atualização do LLM Llama 3, que possui 405 bilhões de parâmetros.
Essa quantidade de parâmetros é o que demanda a maior capacidade computacional das empresas. Simplificando, os parâmetros seriam o “conhecimento” de uma inteligência artificial. Quanto maior valor, melhor é a capacidade da IA em te responder corretamente após receber um prompt.
Susan Li, diretora financeira da Meta, comentou durante a divulgação de resultado que a Meta aumentará o investimento em data centers a partir de 2025. A título de comparação, a OpenAI gasta US$ 3 bilhões (R$ 17,2 bi)no treinamento de LLMs com recursos próprios e mais US$ 4 bilhões (R$ 23 bi) alugando servidores da Microsoft — e isso com desconto.
No último trimestre, o gasto da Meta no treinamento de LLM subiu 33% quando comparado com o ano anterior. O investimento saiu de US$ 6,4 bilhões (R$ 36,8 bi) no passado para US$ 8,5 bilhões (R$ 48,9 bi). Pelas declarações de Zuckerberg e Li, esses valores crescerão em 2025.
Com informações: TechCrunch
Meta precisa de 10 vezes mais capacidade computacional para o Llama 4
