ガジェット Gadget

ニュースリリースを伝えるニュースサイト

Apple、Mac Studio複数台での大規模言語モデル分散推論を実現

AppleのMLXフレームワークによる、複数のMac Studioを連携させた大規模言語モデルの分散推論技術に関するプレスリリースの引用画像。

https://mlr.cdn-apple.com/media/MLX_icon_F001_TC_2048_2600_6439f2ba0f.png

Appleは2026年10月15日、MLXフレームワークのアップデートにより、複数のMac Studioを連携させて超巨大な大規模言語モデル(LLM)を推論できる技術を発表しました。これにより、単体ではメモリ不足となるモデルも、複数のデバイスを並列化することで動作可能になります。

複数台のMacによる分散処理の実現

Appleは、MLXフレームワークの最新バージョンにおいて、Thunderbolt 5を介したRDMA(リモート直接メモリアクセス)を利用した分散推論機能を提供開始しました。これにより、1台のMac Studioではメモリ容量の制約で実行できない大規模なモデルも、複数のMac Studioに分割して処理できるようになります。

具体的には、4台のMac Studioをクラスター化することで、約1兆パラメータを持つ最新モデル「Muse Spark Open」の実行に成功しました。この構成において、Muse Spark Openは毎秒36トークン以上の生成速度を記録しており、人間の読解速度を上回るパフォーマンスを示しています。

M5 Ultraによる単体推論の高速化

単体での推論性能についても、M5世代のチップが大きな進化を遂げています。M5 Ultraに搭載されたGPU Neural Acceleratorは、行列演算を高速化する専用ハードウェアを備えており、M3 Ultraと比較して最初のトークンが生成されるまでの時間(TTFT)を最大4.6倍高速化しています。

また、M5 Ultraのユニファイドメモリ帯域幅は1.2TB/sに達しており、これはM3 Ultraの819GB/sから大幅な向上となります。この帯域幅の拡大により、トークンの生成速度もM3 Ultraの1.6倍に向上しています。一方、消費電力については、M5 Ultra搭載機は約300Wと、一般的なトースターよりも低い電力に抑えられています。

発表元: https://machinelearning.apple.com/research/mlx-distributed-inference