論文の概要: Beyond the Trial-and-Error Loop: Hybrid Projection and Automated Tuning for Distributed Training

• arxiv url: http://arxiv.org/abs/2610.19423v1
• Date: Wed, 14 Oct 2026 02:15:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.8977
• Title: Beyond the Trial-and-Error Loop: Hybrid Projection and Automated Tuning for Distributed Training
• Title（参考訳）: 試行錯誤のループを越えて:分散トレーニングのためのハイブリッドプロジェクションと自動チューニング
• Abstract要約: Primus Projectionは、できることを計測し、できないことをシミュレートするハイブリッドプロジェクションエンジンである。 スコープ外の集合体、FSDPオーバーラップ、マルチノードターゲットでの完全なパイプラインスケジュールを解析的に復元する。 純粋なシミュレーションモードはCPU上で完全に動作し、GPUを使わずにプリシリコン計画を可能にする。
• 参考スコア（独自算出の注目度）: 20.90211684851616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Configuring distributed LLM training across hundreds of GPUs requires jointly optimizing tensor, pipeline, expert, context, and data parallelism alongside micro-batch size, recomputation, sharding, and overlap, a combinatorial space where memory legality can hinge on a single byte of activation accounting. Today, teams navigate it through expensive multi-node trial and error, burning GPU-hours on crashes and suboptimal recipes. We present Primus Projection, which closes this loop with two coupled components. First, a hybrid projection engine that measures what it can and simulates what it cannot: GPU microbenchmarks on as few as a single device capture compute kernels and any in-scope communication; a sub-node downscale-measure-upscale workflow analytically restores out-of-scope collectives, FSDP overlap, and the full pipeline schedule at the multi-node target. A pure simulation mode runs entirely on CPU, enabling pre-silicon planning without any GPU. Second, the Primus Tuning Agent treats the projection engine as a fast scoring oracle (seconds per candidate instead of tens of minutes) and uses it to drive an intelligent search over the configuration space. A deterministic seed planner sweeps single axes; an LLM investigation loop proposes cross-axis combinations the planner cannot reach, with an analytic memory pre-filter that rejects infeasible candidates before any GPU time is spent. Validated on Llama 3.1 (dense) and Mixtral 8x22B (MoE) across two GPU generations, all projections stay within ~10% of measured multi-node throughput, and fidelity holds at production scale: 4.7% error on DeepSeek V3 671B at 1,024 GPUs and 1.9% on Qwen3-235B-A22B at 256 GPUs. In a Mixtral 8x22B case study, the Primus Tuning Agent discovers a configuration delivering +27% throughput over the published 4-node BF16 reference at the same scale, in under 30 minutes of single-node exploration.
• Abstract（参考訳）: 数百のGPUで分散LLMトレーニングを設定するには、マイクロバッチサイズ、再計算、シャーディング、重複に加えて、テンソル、パイプライン、エキスパート、コンテキスト、データ並列性を共同で最適化する必要がある。 チームは今日、高価なマルチノードトライアルとエラーを通し、クラッシュや準最適レシピをGPU時間で燃やしている。 このループを2つの連結成分で閉じるプリマス射影について述べる。 まず、何ができないかを計測し、シミュレートするハイブリッドプロジェクションエンジン: 単一のデバイスで計算カーネルとスコープ内通信をキャプチャできる限り、GPUマイクロベンチマーク; サブノードダウンスケールのアップスケールワークフローは、スコープ外の集合を解析的に復元し、FSDPオーバーラップし、マルチノードターゲットでのパイプラインスケジュール全体を再構築する。 純粋なシミュレーションモードはCPU上で完全に動作し、GPUを使わずにプリシリコン計画を可能にする。 第二に、Primus Tuning Agentはプロジェクションエンジンを高速スコアリングオラクル(数十分ではなく秒単位の候補)として扱い、設定空間をインテリジェントに検索するために使用する。 LLM調査ループでは、プランナが到達できないクロス軸の組み合わせを提案し、GPU時間に費やされる前に、不可能な候補を拒否する分析メモリ前フィルタが提案されている。 Llama 3.1 (dense)とMixtral 8x22B (MoE)で2つのGPU世代にまたがって検証され、すべてのプロジェクションは測定されたマルチノードスループットの約10%以内に留まり、忠実度はプロダクションスケールで保持される:DeepSeek V3 671Bで1,024 GPUで47%エラー、Qwen3-235B-A22Bで1.9%エラー。 Mixtral 8x22Bのケーススタディでは、Prism Tuning Agentが、発行された4ノードのBF16参照に対して、同じスケールで、単一ノードの探索から30分以内で、+27%のスループットを提供する構成を発見した。

関連論文リスト

• GPU-Initiated Discrete Simulated Bifurcation: Low-Latency Requests and Streaming Dense Couplings [0.13537117504260623]
  GPUベースの最適化では,頻繁な要求の調整と,デバイスメモリを越える高密度モデルの提供という,2つの通信ボトルネックに直面している。 本稿では,NVIDIA DOCA GPUNetIOによる個別のシミュレーション分岐アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-10-05T16:20:06Z)
• Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets [0.0]
  私たちは、少数のAIPCが、単一のAIPCの能力を超えたモデルを提供できることを示しています。 Intel Tiber Cloud上のLunar Lake AI PCの4ノードデプロイは、対話的な速度で単一のユーザに提供する。
  論文  参考訳（メタデータ） (2026-08-19T17:33:28Z)
• Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
  本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。 さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
  論文  参考訳（メタデータ） (2026-07-02T08:06:57Z)
• KernelSight-LM: A Kernel-Level LLM Inference Simulator [27.54401355597591]
  本稿では,トークンレベルの実行をモデル化し,カーネルレベルの遅延分解を生成する,詳細な推論シミュレータであるKernelSight-LMを提案する。 それぞれのサービスステップを学習された効率項、通信モデル、ホストオーバーヘッドモデルでカーネルモデルに分解する。 カーネルレベルのボトルネックはハードウェア/ソフトウェアの共同設計とキャパシティプランニングをサポートする。
  論文  参考訳（メタデータ） (2026-06-26T19:43:38Z)
• A High-Throughput Compute-Efficient POMDP Hide-And-Seek-Engine (HASE) for Multi-Agent Operations [0.0]
  我々はC++で構築された計算効率の高いDec-POMDPエンジン、Hide-And-Seek-Engineを紹介した。 我々のエンジンは、AMD 9950X (16コア)上の1エージェント1024環境の分散観測において、毎秒最大33,000,000ステップのスループットを維持できる。 エンジンは、ベースラインのシングルスレッドベクトル化NumPy実装よりも約3,500$times$のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-04-29T20:09:13Z)
• FlashSampling: Fast and Memory-Efficient Exact Sampling [62.5203057469482]
  FlashSamplingは正確なサンプリングプリミティブで、LMヘッドのマトゥルにサンプリングを融合し、ロジットテンソルを生成しない。 H100、H200、B200、B300 GPU全体で、FlashSamplingはカーネルレベルのデコードワークロードを高速化する。 エンドツーエンドのvLLM実験では、テストしたモデルで出力トークン当たりの時間を最大19%削減します。
  論文  参考訳（メタデータ） (2026-03-16T19:37:08Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers [65.60007071024629]
  本稿では,Adaptive SGDが4つの最先端ソリューションよりも精度が高いことを示す。 本稿では,Adaptive SGDが時間と精度で4つの最先端ソリューションより優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-13T20:58:15Z)
• Efficient and Generic 1D Dilated Convolution Layer for Deep Learning [52.899995651639436]
  幅広いパラメータをカバーする汎用的な1D畳み込み層の効率的な実装を紹介します。 特にIntel AVX-512とAVX-512 BFloat16命令を含むアーキテクチャ向けに最適化されている。 本稿では,最適化された1次元畳み込み層の性能を,実際のゲノミクスデータセットを用いたエンドツーエンドニューラルネットワークトレーニングで実証する。
  論文  参考訳（メタデータ） (2021-04-16T09:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。