刚刚,Mac Studio 迎来小扎最强开源模型,苹果等来了最意外的助攻
扎克伯格曾批评苹果在iPhone后再无重大创新。但他如今主动分享Meta AI在Mac上运行的画面,感谢苹果及新任CEO John Ternus的支持。
促成双方携手的是一个拥有8160亿参数的大规模模型,以及将其部署至用户桌面的共同愿景。
今天凌晨,Meta推出了开放权重模型Muse Spark Open,并与苹果联合展示了它在两台或四台Mac Studio上的运行方案。开发人员能在本地利用该模型编写代码、分析视频、执行智能体任务,推理过程无需经过模型厂商的服务器。
随着AI开始处理私人文件和企业资料,数据的处理地点和掌控权变得日益关键。开放模型与本地AI相辅相成,让用户能自行部署模型,将推理过程保留在自己的设备上。
苹果多年投入的自研芯片、统一内存和开发工具,也因此有了用武之地。如今,8160亿参数的模型在桌面运行,让Mac距离成为AI时代的首选个人电脑更进一步。
小扎送来新模型,苹果准备好了电脑
Muse Spark Open的发布,兑现了扎克伯格此前的一项承诺。
今年8月,Meta推出了规模较小的开放权重模型Muse Glimmer,扎克伯格当时表示,后续将开放更大、更强的模型。如今,这份承诺变成了拥有8160亿参数的Muse Spark Open。
新模型Muse Spark Open的能力接近Muse Spark 1.3,Meta更将其称为目前能力最强的美国开发的开放权重模型。
开发人员可以下载模型权重,在自己的硬件上部署,也能通过云服务商和开发工具使用。其许可证允许一定范围内的商业使用,为企业自行部署和开发应用留出空间。
Meta AI负责人Alexandr Wang表示,Muse Spark Open的能力仍低于本周早些时候发布的闭源模型Muse Wonder。不过,开放权重赋予了它另一种吸引力,开发人员能自己选择运行环境、研究模型,并按实际需求组织应用。
Meta希望这些尝试从小规模开始,随后逐步扩大。苹果的加入,则为开发人员提供了一套明确的本地运行方案。
扎克伯格在X上晒出Meta智能体在Mac上工作的照片,表示Muse Spark Open当天开放权重,得益于与Ternus和苹果的合作,它在新款Mac Studio上运行得很好。
Ternus随后回应,能够在书桌上如此高效地运行这种规模和能力的模型,令人振奋,并称Mac Studio正在继续拓展设备端AI的边界。
Wang对两家公司的合作给出了一个更生活化的评价。他向Axios开玩笑,看到**「爸爸妈妈终于又能好好相处」**,大家都很高兴。
据他介绍,双方已合作数月,曾在苹果任职、如今加入Meta的Daniel Gross,在其中发挥了重要作用。特别是,Meta今年早些时候已购入数百台Mac,供超级智能团队探索本地AI和智能体应用。
合作最值得关注的一点,是模型能力与用户数据之间能建立一种新的关系。
按照Wang的说法,开发人员在自身设备上运行模型时,Meta无法看到或控制其使用内容。用户可以获得Meta的模型能力,同时将提示词和推理过程留在自己掌握的环境里。
对个人而言,本地运行能减少私人资料向外部服务器传输;对企业而言,代码、文档和业务数据也能留在自主管理的设备上。隐私与安全需求因此成为推动本地AI的实际动力,而开放权重让这条路具备了可操作性。
8160亿参数,怎么装进几台Mac
把如此庞大的模型搬上书桌,需要解决两个问题:电脑能否装得下,以及装下以后能否足够快地工作。
Muse Spark Open采用混合专家架构,即MoE,总参数量达8160亿,每次推理激活约420亿参数。
它像一个规模庞大的专家团队,处理不同内容时,只调动其中一部分专家参与计算。模型因此能保留较大的总容量,同时减少每一步实际需要完成的计算。
不过,未参与当前计算的参数仍需存储起来,供后续调用。MoE降低了计算负担,但容纳整套模型的内存需求依然可观。
按照苹果技术博客的数据,在原生BF16精度下,Muse Spark Open仅模型参数就需要超过1.6TB内存。
苹果使用NVFP4四位量化版本,将模型内存占用压缩至约493GB。量化相当于用更精简的数值表示方式存储参数,通过降低数值精度,换取更小的内存占用。
即便如此,单台配备512GB统一内存的Mac Studio仍难以游刃有余。模型权重之外,推理过程中的临时计算数据、KV Cache(键值缓存),以及操作系统和运行框架,都需要占用额外内存。
多台Mac协同工作,便成了下一步。
在苹果展示的多机推理方案中,MLX主要采用两种并行方式,其中较易理解的是流水线并行。模型前一部分放在一台Mac上,后一部分放在另一台上,第一台完成计算后,再把结果交给第二台继续处理。
这种方式能让两台电脑共同容纳一个大型模型,但计算存在前后依赖,后一台机器需要等待前一台的结果,设备无法始终同时投入工作。
张量并行则将同一层里的计算分配给多台机器,让它们共同参与,再交换和汇总结果。
更多设备能同时工作,机器之间也就需要更频繁地交换数据。如果传输太慢,增加的计算能力就会消耗在等待中。
苹果为此使用雷雳5上的RDMA通信,降低多机交换数据的延迟,再由MLX协调计算。在博客展示的双机配置中,两台Mac通过两根雷雳线连接,以增加链路带宽。
最终的性能差距,清楚地体现了这种协作方式的价值。
在输入上下文为8192 tokens、随后生成128 tokens的测试中,两台M5 Ultra Mac Studio使用流水线并行时,Muse Spark Open的生成速度约为每秒15.74 tokens。
改用张量并行后,双机速度提高到每秒24.99 tokens,提升接近六成。进一步增加到四台机器,速度达到每秒36.73 tokens,首个token的等待时间也从双机张量并行的约8.2秒,缩短至约4.8秒。
从存得下,到能以实际可用的速度交互,背后依靠的是一整套软硬件配合。
统一内存架构让CPU和GPU能共享内存资源,大容量配置为模型提供存储空间,高带宽支持持续读取数据,而MLX与雷雳互联则让多台电脑能协同承担任务。
M5 Ultra进一步将统一内存带宽从M3 Ultra的819GB/s提高至1.2TB/s。M5系列GPU加入的Neural Accelerators,则用于加速矩阵运算,改善处理输入上下文时的计算效率。
两项变化对应着用户能感受到的两个环节:提交一大段材料后,需要等多久才开始回答;以及开始回答以后,内容输出有多快。
在苹果针对Qwen 3.8和Mistral Medium 3.5的单机测试中,M5 Ultra相比M3 Ultra,首个token等待时间对应的速度提升最高约为4.6倍,文字生成速度约为1.6倍。
苹果还展示了如何把本地模型服务用于OpenCode等编程工具。开发人员能继续通过智能体界面提交任务,让模型处理上下文、生成代码,而背后的推理工作由桌上的Mac完成。
由此来看,Muse Spark Open在Mac上运行,也是一场对苹果既有投入的集中检验。芯片、内存、互联和软件工具各自解决一部分问题,最终共同决定了桌面AI能走多远。
目前,这套方案仍主要面向专业开发人员和团队。搭载M5 Ultra的Mac Studio起售价为46999元,512GB版本将于本月晚些时候上市,运行Muse Spark Open还需根据内存需求配置多台设备。
大型模型进入个人电脑的过程,显然还有门槛。但苹果已展示出一条具体路径,让需要自主掌握模型和数据的用户,能在桌面上构建自己的AI运行环境。
苹果连闲着的Mac也惦记上了
几台高配Mac Studio组成集群,解决了大型模型如何进入桌面的问题。苹果研究人员近期发表的另一篇论文,则将目光投向办公室里已经存在、却经常未充分利用的电脑。
名为Minions的系统,尝试把Apple Silicon设备闲置的GPU组织起来,形成一个共享的推理资源池。
研究人员观察到一种常见的资源错配。一边是团队申请集中式GPU时,需要长时间排队;另一边,大量Mac正在处理邮件、文档等日常工作,GPU仍有不少空闲。
Minions希望让这些已有设备分担任务,减少团队对新增GPU采购的依赖。
团队提交工作后,系统会将其分成多个子任务,由参与的Mac主动领取,使用本机GPU完成计算,再把结果上传至指定存储位置。
与前文多台Mac紧密协作运行同一个大型模型的方式不同,Minions主要面向能分别执行的任务,让不同电脑各自处理一部分工作,提高整体处理量。
目前,系统支持生成文本向量,以及通过Ollama调用本地大模型完成文本生成。前者可用于检索等场景,后者适合批量处理大量独立请求。
员工电脑的使用状态随时可能变化,有人会合上笔记本,有人会断开网络,也有人需要优先处理自己的工作。
Minions因此设置了任务回收机制,监测正在执行任务的设备,一旦设备失去响应,就将未完成的子任务重新交给其他电脑。
设备拥有者还能设置优先参与的团队、项目或任务。论文提到,团队有时会通过Slack临时招呼同事,请大家启动执行程序,共同处理某项工作。
原本需要排队申请的计算资源,就这样变成了同事之间能临时组织的协作。
按照论文披露的使用情况,过去因集中式GPU紧张而需要等待十多个小时的部分任务,使用Minions后,往往几分钟内就能开始执行。闲置设备的加入,让团队更早获得了可用算力。
数据如何管理,也被纳入系统设计。Minions支持在指定团队或组织内部独立部署,将任务限制在各自管理的设备范围内,让共享算力与数据管理要求相适应。
研究人员还计划探索分布式模型训练,而现阶段的重点,是让已有Mac成为集中式GPU基础设施的补充。
从Muse Spark Open到Minions,苹果正在挖掘个人电脑在AI时代的两种价值。一种通过大内存和高速互联,让桌面设备承担更大的模型;另一种利用闲置时间,让更多已有电脑参与计算。
端侧AI的发展也因此拥有了更具体的形态。它可以是一台设备独立处理私人任务,也可以是几台电脑共同运行大型模型,或者由一个团队内部的设备协作完成批量工作。
当AI接触的数据越来越私人、承担的任务越来越深入,用户对隐私、安全和自主控制的需求,也会不断推动本地部署。开放模型提供了选择权,能够高效运行它们的硬件,则把选择权变成了实际能力。
**苹果与Meta的合作,正是两股趋势的一次汇合。**对于努力争取AI PC位置的Mac而言,多年来投入的芯片、统一内存和开发生态,终于开始以一种足够直观的方式得到回报,越来越大的模型,正在它的桌面上运行起来。若想进一步了解相关技术细节,可查阅苹果技术博客。