ChatGPT-app voor iOS krijgt Siri-integratie en betere ondersteuning voor iPads – Tablets en telefoons – Nieuws

Ben benieuwd of er een punt komt waarop de neurale motoren in iPhones en iPads ook gaan verzamelen. ChatGPT 3.5 voldoet aan 175 miljard parameters (175B) nog veel te groot om lokaal te draaien, maar het gaat erg hard met de kleinere 7B, 13B en 30B modellen. Zo heeft het lama.cppwat LLM’s lokaal op CPU’s en GPU’s laat draaien, inferentie op Metal GPU’s werkend gekregenen wordt er hard gewerkt aan ook verdere beschrijving.

De grootste beperking zal het werkgeheugen zijn. Voor een 13B model is zeker 8GB nodig, en voor een 30B model 16GB (en dan mag er voor de rest weinig draaien). Dit zal voorlopig dus ook eerst voor iPads weggelegd zijn (aangezien zelfs de iPhone Pro’s maar 6 GB RAM hebben).

Op de nieuwe Mac’s met 96, 128 of zelfs 192 GB unified memory kunnen al veel grotere modellen draaien, zoals LLaMA 65B en alle varianten, Falcon 40B en de nieuwe 104B StagiaireLM.

Op het r/LocalLLaMA subreddit is hier ook een hoop over te vinden.

[Reactie gewijzigd door Balance op 8 juni 2023 18:05]