論文の概要: One Communicator, Three Vendors: Extending the MoA Predictive Theory to a Real NVIDIA+AMD+CPU MPI Ensemble
- arxiv url: http://arxiv.org/abs/2610.22769v1
- Date: Fri, 16 Oct 2026 00:19:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.719867
- Title: One Communicator, Three Vendors: Extending the MoA Predictive Theory to a Real NVIDIA+AMD+CPU MPI Ensemble
- Title（参考訳）: 1つのコミュニケータ、3つのベンダー: MoA予測理論をNVIDIA+AMD+CPU MPIアンサンブルに拡張
- Abstract要約: 共用MPI拡張紙は、最初の通信可能な機械形状のアンサンブルを検証した。
本稿は、それをマルチベンダコミュニケータに拡張する。
制御された再実行の結果、コンパニオン紙の8.1倍のA100結果と22ミリ秒のGathervは4つのランクで1つのGPUを共有するアーティファクトであることが示されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The companion MPI-extension paper validated the first communication-bearing machine-shape ensemble: four NVIDIA A100 ranks and four CPU ranks on one NCSA Delta node under one Open MPI job, reassembled by MPI_Gatherv. This paper extends it to a multi-vendor communicator. A Slurm heterogeneous job spanning Delta's A100 and AMD MI100 partitions places A100, MI100 and CPU ranks (nine in all) under one communicator for the first time. We give the theory (a w_i proportional to 1/t_i weight split for three concurrent realizations; a het-job specification as an admissible directive) and report real results, including what the run exposed: the 1/t split assumes time linear in rows, and this fails for the MI100 rank (6 rows took 597 ms against a linear prediction of 1.6 ms). A launch-geometry model, with predictions recorded before measuring, succeeds for the A100 (time flat from 128 to 3456 rows, stepping at exactly 3520 and 6976) and places the MI100 floor in the key loop; changing its launch settings cut about 600 ms to 14.6 ms and the energy per call at 6 rows by 32x, though the MI100 remains about 95x slower than an A100 at 8192 rows. Controlled reruns show that the companion paper's 8.1x A100 result and 22 ms Gatherv were artifacts of four ranks sharing one GPU under Open MPI's default transport. A key/value-split partition whose message sizes are derived from shapes alone is then run: the ring Allreduce of the 8.5 MB message took 11.3, 16.0 and 15.3 ms against a predicted 11-12 ms, the small Allreduce missed its prediction in every run, and compute times reproduce to about 1% while communication times vary up to 4x between runs. Each idea is introduced with a figure and closed with worked examples.
- Abstract（参考訳）: MPI_Gathervにより再組立てられた1つのオープンMPIジョブの下で、NVIDIA A100の4つのランクとNCSA Deltaノードの4つのCPUランクという、最初の通信可能なマシン形状のアンサンブルを検証した。
本稿は、それをマルチベンダコミュニケータに拡張する。
デルタのA100とAMD MI100のパーティションにまたがるスラムの不均一なジョブは、A100、MI100、CPUのランクを初めて1つのコミュニケータの下に配置する(9つ)。
この理論(3つの同時実現に対して 1/t_i に比例する w_i の重量分割、許容ディレクティブとしての het-job 仕様)を与え、実際の結果を報告する: 1/t 分割は行に時間線形を仮定し、MI100 のランクには失敗する(6行は 1.6 ms の線形予測に対して 597 ms を要した)。
A100(正確には3520と6976)をキーループに配置し、約600msから14.6msにカットし、1回の呼び出しで32倍のエネルギーを消費するが、MI100は8192行でA100よりも95倍遅い。
制御された再実行の結果、コンパニオン紙の8.1倍のA100結果と22ミリ秒のGathervは、Open MPIのデフォルトトランスポートの下で1つのGPUを共有する4つのランクのアーティファクトであることが示されている。
8.5MBメッセージのAlreduceは11.3, 16.0, 15.3msで、予測された11-12msに対して、小さなAllreduceは1回のランで予測を逃し、計算時間は約1%、通信時間は最大4倍になった。
各アイデアは図とともに導入され、実例で閉じられる。
関連論文リスト
- Echo: Error-Compensated 4-Bit Tensor-Parallel Communication for LLM Training and Inference [55.13512491286105]
累積誤差を制御するトレーニングと推論のための4ビット全リデューサであるEchoを提案する。
A100 GPUでは、Echoは1GBメッセージで16ビットのNCCLの全リデュースよりも2.09倍高速である。
論文 参考訳（メタデータ） (2026-10-09T19:49:55Z) - Cascadia: Resident 975B MoE Inference on Eleven AI PCs [0.0]
我々は、11台のIntel Core Ultra X7 358H AI PC上で、カスカディアのInklingの常駐実行を示す。
Inklingのルーティングルールを保存し、OpenVINOの融合したiGPUプリミティブのための圧縮グラフを構築するカスタム常駐MoEエンジンにコントリビュートする。
ストリーミングパイプラインは同時生成をコーディネートし、キャプチャ状態のドラフト評価は、展開された数値パスと一致させる。
論文 参考訳（メタデータ） (2026-10-05T18:29:24Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳（メタデータ） (2026-09-16T04:00:54Z) - What actually runs: a measurement study of language model placement and decode speed on the Apple Neural Engine [0.0]
一致したモデルのサイズと精度をトレーニングし、量子化されたチェックポイントを、fp16のモデルに比例した構造で識別する。
私たちは推論中にANEのメモリコントローラのバイトカウンタを読み、コンパイラが意図したものではなく実際に実行するものを確立しました。
論文 参考訳（メタデータ） (2026-08-22T21:22:24Z) - Daedalus-150M: A Convolution-Attention Hybrid Designed for CPU Inference [0.0]
小さな言語モデルは通常、大きなもののように構築され、その後CPUに圧縮される。
ターゲットを最初に修正し、ユーザを1人、トークンを1度に1人、重みを4ビット、通常のCPUで、それに合うようにアーキテクチャを選択しました。
このモデルはトレーニング開始前に修正された42.20のバーに対して5タスクのベンチマークで47.31得点した。
GPT-2 124M、Pythia-160M、OPT-125M、GPT-neo-125Mの3倍から6倍のデータで訓練され、MobileLLM-125Mを超える。
論文 参考訳（メタデータ） (2026-08-20T16:09:43Z) - Ready Cohorts: Bounding GPU Opportunity and Avoiding Host Round Trips in LLM-Agent Control [0.0]
固定シェアF, 正確なオフラインシェアP*, ローカルアッパーバウンドU, オンライン達成シェアAを用いて, 既定コホート境界を定式化する。
別のメカニズムの研究では、4バイトをホストに返さずに、GPUで計算されたバイナリ決定をデバイスに保持している。
論文 参考訳（メタデータ） (2026-08-12T14:42:15Z) - A Modern Multimodal Assistant on a 6 GB 2011 GPU: Stage-Validated, All-GPU CUDA Inference for Fermi [0.0]
このレポートはハードウェアを維持し、適合するモデルに何ができるかを尋ねる。
SigLIP2エンコーダとウィンドウアテンションマージを組み合わせた,現代的なマルチモーダルアシスタントであるMini-V-4.6をデプロイする。
システムは、画像質問のエンドツーエンドを1.7秒で答える。
論文 参考訳（メタデータ） (2026-07-16T04:48:44Z) - Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models [50.733497395381164]
Agoraは、インターネットグレードリンク上の帯域効率の高いパイプライン並列モデルシャーディングと、複数パーティのフォールトトレラントな集団操作を組み合わせる。
Pluralis-8BはFineWeb-Eduの500Bトークン上の8.6B-パラメータモデルのオープンで無許可の事前トレーニング実行である。
論文 参考訳（メタデータ） (2026-07-14T23:32:18Z) - Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。
d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。
因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
論文 参考訳（メタデータ） (2026-03-23T17:57:24Z) - QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models [64.34635279436054]
Mixture-of-Experts (MoE)アーキテクチャは、スパースルーティングによる大規模言語モデル(LLM)の高推論コストに対する一般的な解決策を提供する。
本稿では,QMoEと呼ばれる新しい圧縮実行フレームワークの形で,このメモリ問題に対する解決策を提案する。
論文 参考訳（メタデータ） (2023-10-25T17:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。