論文の概要: MCCL: Training Pytorch models across a fleet of Macs at Skywalker Sound

• arxiv url: http://arxiv.org/abs/2610.39029v1
• Date: Wed, 28 Oct 2026 23:02:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.431402
• Title: MCCL: Training Pytorch models across a fleet of Macs at Skywalker Sound
• Title（参考訳）: MCCL:スカイウォーカー・サウンドのMacでPytorchモデルを訓練
• Abstract要約: Skywalker Soundは10Gbのイーサネットネットワーク上で200台以上のM4 Max Mac Studioを運営している。 アーティストが使用しない場合、これらのマシンはアイドル状態になり、巨大な未使用の統一メモリと計算能力を表す。 スイッチングイーサネット上でのマルチノードPyTorchトレーニングのための,オープンソースのMPSバックエンドであるMetal Communication Collective Library (MCCL)を紹介した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Skywalker Sound, a premier audio post-production facility, operates more than 200 M4 Max Mac Studios on a 10Gb Ethernet network. When not in use by artists, these machines sit idle, representing massive untapped unified memory and compute capacity. While these fleets are excellent candidates for distributed machine learning alongside existing NVIDIA GPU clusters, PyTorch lacks an accelerated distributed backend for Apple's Metal Performance Shaders (MPS). To bridge this gap, we introduce the Metal Communication Collective Library (MCCL), the first open-source MPS backend for multi-node PyTorch training over switched Ethernet. We evaluate its performance and scalability across 24 nodes, demonstrating that large all-reduce operations reach 98-99.7% of TCP goodput. Training a 113.5M-parameter Vision Transformer (ViT) scales from 198 to 4,568 samples/s, achieving 95.9% parallel efficiency. Benchmarked against an NVIDIA A100 GPU, one M4 Max Mac equals roughly 1.7x the throughput of FP32 matrix multiplication, and 5.5 Macs match an A100 using TF32. Harnessing 100 idle Macs for 12 hours nightly offsets approximately $200,000 annually in equivalent cloud compute costs. Our results demonstrate that existing Mac infrastructure can be seamlessly repurposed for high performance distributed training without abandoning the standard PyTorch codebase.
• Abstract（参考訳）: プレミアオーディオのポストプロダクション施設であるスカイウォーカー・サウンドは、10Gbイーサネットネットワーク上で200台以上のM4 Max Mac Studioを運営している。 アーティストが使用しない場合、これらのマシンはアイドル状態になり、巨大な未使用の統一メモリと計算能力を表す。 PyTorchには、AppleのMetal Performance Shaders(MPS)の高速化された分散バックエンドがない。 このギャップを埋めるために、我々はMetal Communication Collective Library (MCCL)を紹介します。 我々は、24ノードにわたるパフォーマンスとスケーラビリティを評価し、大規模な全リデュース操作が TCP 出力の98-99.7% に達することを示した。 113.5Mパラメーター・ビジョン・トランスフォーマー(ViT)の訓練は198から4,568のサンプル/秒で、95.9%の並列効率を実現している。 NVIDIA A100 GPUと比較すると、1つのM4 Max MacはFP32行列乗算のスループットの約1.7倍であり、5.5 MacはTF32を使用してA100と一致する。 12時間の夜間オフセットで100台のアイドルMacのハーネスは、クラウド計算に相当するコストで、年間約20万ドルである。 この結果から,既存のMacインフラをPyTorchの標準コードベースを放棄することなく,高性能な分散トレーニングにシームレスに再利用できることが示唆された。

関連論文リスト

• Cascadia: Resident 975B MoE Inference on Eleven AI PCs [0.0]
  我々は、11台のIntel Core Ultra X7 358H AI PC上で、カスカディアのInklingの常駐実行を示す。 Inklingのルーティングルールを保存し、OpenVINOの融合したiGPUプリミティブのための圧縮グラフを構築するカスタム常駐MoEエンジンにコントリビュートする。 ストリーミングパイプラインは同時生成をコーディネートし、キャプチャ状態のドラフト評価は、展開された数値パスと一致させる。
  論文  参考訳（メタデータ） (2026-10-05T18:29:24Z)
• CogEvol: Towards Efficient and Reliable Learning Environment Generation [49.18054685846454]
  本稿では,学習環境生成に特化して訓練されたモデル群であるCogEvolを紹介する。 CogEvolは、スライドを中央値17秒、対話ページを59秒で完了し、数分のマルチターンエージェントの足場を置き換える。 プロダクショングラウンドのデータパイプラインは、実際の障害を53,687個のSFTサンプルに変換する。
  論文  参考訳（メタデータ） (2026-08-31T15:33:38Z)
• Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets [0.0]
  私たちは、少数のAIPCが、単一のAIPCの能力を超えたモデルを提供できることを示しています。 Intel Tiber Cloud上のLunar Lake AI PCの4ノードデプロイは、対話的な速度で単一のユーザに提供する。
  論文  参考訳（メタデータ） (2026-08-19T17:33:28Z)
• Qwen-CUA: Native Computer Use for (almost) Everything [104.78368489343713]
  本稿では,Qwen-CUAについて紹介する。 DOMツリー、アクセシビリティメタデータ、タスク固有のAPIなしで、スクリーンショットのみを観察し、キーボードやマウスのイベントを通じて動作します。 足場は最大20個のアクティブなスクリーンショットを保持し、最近の証拠を保持するために固定サイズのブロックで古い視覚履歴を折り畳む。
  論文  参考訳（メタデータ） (2026-08-03T15:04:20Z)
• Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
  本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。 さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
  論文  参考訳（メタデータ） (2026-07-02T08:06:57Z)
• Litespark Inference on Consumer CPUs: Custom SIMD Kernels for Ternary Neural Networks [0.00815557531820863]
  Litespark-InferenceはHugging-Faceと直接統合され、9.2倍高速、52倍高速、14倍メモリ削減を実現している。 実装であるLitespark-Inferenceは、pipインストール可能で、Hugging-Faceと直接統合され、9.2倍高速なタイム・ツー・ファースト・トークン、52倍高いスループット、14倍のメモリ削減を実現しています。
  論文  参考訳（メタデータ） (2026-05-07T16:07:39Z)
• Native LLM and MLLM Inference at Scale on Apple Silicon [0.8122270502556375]
  MLX をネイティブに構築した Apple Silicon 上で,効率的な LLM と MLLM 推論のためのフレームワーク vllm-mlx を提案する。 テキストモデルでは、Qwen3-0.6BからNemotron-30Bまでの範囲で、ラマよりも21%から87%高いスループットを達成する。 マルチモーダルモデルでは,入力形式によらず,同一画像をコンテンツハッシュで識別することで,冗長な視覚符号化を不要とするコンテンツベースキャッシングを導入する。
  論文  参考訳（メタデータ） (2026-01-27T03:11:02Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU [89.2451963569343]
  FlexGenは、単一のコモディティGPU上で大きな言語モデル(LLM)推論を実行するための世代エンジンである。 1つの16GB GPU上でOPT-175Bを実行する場合、FlexGenは最先端のオフロードシステムに比べてスループットが大幅に向上する。 HELMベンチマークでは、FlexGenは7つの代表サブシナリオに16GBのGPUで30Bモデルを21時間でベンチマークすることができる。
  論文  参考訳（メタデータ） (2023-03-13T05:19:28Z)
• Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
  幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。 特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。 本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
  論文  参考訳（メタデータ） (2021-04-16T09:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。