一台iPhone,居然真的可以被Mac当成“第二块GPU”来跑大模型。
Reddit用户u/StayLameBro做了一项实验:他把iPhone 17 Pro Max通过USB-C连接到一台24GB统一内存的M4 Pro MacBook Pro,再用开源软件backburner,把Qwen3.8-27B模型的一部分计算任务分给手机。结果在长上下文预填充场景中,最高获得了44%的速度提升。
iPhone真的在参与跑模型
这套方案不是简单把模型塞进手机里运行,而是把推理过程拆成两段。Mac负责每个256 token批次中的第1到40层,并把中间激活结果传给iPhone;iPhone 17 Pro Max则利用A19 Pro GPU处理第41到64层,同时Mac开始计算下一批数据,形成流水线。
开发者表示,GPU矩阵运算让手机负责部分的速度提升约2.4倍。神经网络引擎也会参与长上下文处理,每16K旧上下文被编译成一个Neural Engine模型,在140K上下文下,每个token写入时间从279ms降至176ms。
最高44%,但不是整体快44%
把一个2000 token文件预填充到已有会话时,8K上下文从Mac单独运行的132 tok/s提升到177 tok/s,增幅35%;16K从109 tok/s升至157 tok/s,提升44%;32K则从101 tok/s提高到130 tok/s,增幅29%。
不过这里必须注意,它加速的是“预填充”,也就是模型读取和处理已有上下文的阶段,并不等于AI生成文字的速度整体提高44%。
开发者也强调,在64K以下文本生成时,iPhone并不能提供同样的加速,真正生成token主要仍由Mac完成。所以这更像是缓解长上下文和内存压力的一种方案,而不是接上iPhone就能让Mac性能暴涨。
手机可能变成AI协处理器
真正有趣的是,手机第一次变成了可参与计算的AI节点。
24GB统一内存的M4 Pro MacBook Pro运行27B模型时,模型权重和长上下文会迅速吃掉内存。把部分模型层和上下文状态转移到iPhone,相当于利用手机的内存、GPU和Neural Engine。
开发者认为,搭载A20 Pro的iPhone 18 Pro系列可能还有更大空间,因为新芯片拥有更强GPU和双16核神经网络引擎。
目前backburner已经开源,但仍处早期。它离“一根线把iPhone变成Mac显卡”还有很远,但方向很有意思:未来手机可能不只自己运行AI,也能在需要时把闲置算力临时借给电脑。