Apple revela capacidade de iPhones e Macs para executar IA localmente

A Apple divulgou diretrizes técnicas detalhando a capacidade de seus dispositivos executarem modelos de linguagem de inteligência artificial localmente. Nesse sentido, a empresa revelou que seus chips com memória unificada permitem desde o processamento de redes de 14 bilhões de parâmetros em iPhones até clusters de Mac Studio capazes de rodar modelos de 1,6 trilhão de parâmetros sem depender de servidores em nuvem.

Em relação aos aparelhos compactos (iPhones e iPads), a recomendação é que tenham 16GB de memória unificada para rodar LLMs de até 14 bilhões de parâmetros ativos. Além disso, a execução exige largura de banda de 76 GB/s, requisito superado pela plataforma A20 Pro, que entrega 115,2 GB/s.

No caso dos intermediários (MacBook Air e Mac mini), configurações com até 64 GB de memória unificada e largura de banda de 307 GB/s conseguem processar modelos de até 70 bilhões de parâmetros ativos. Os itens considerados avançados são os modelos de MacBook Pro.

Clique aqui para ler mais