論文の概要: MoE Proxy Models for Low-Cost Failure Reproduction and Diagnosis in LLM RL Post-Training

• arxiv url: http://arxiv.org/abs/2608.10823v1
• Date: Tue, 11 Aug 2026 11:50:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.031494
• Title: MoE Proxy Models for Low-Cost Failure Reproduction and Diagnosis in LLM RL Post-Training
• Title（参考訳）: LLM RL後試験における低コスト破壊再現・診断のためのMoEプロキシモデル
• Abstract要約: 本稿では,Huawei Ascendプラットフォーム上での大規模RLトレーニングにおいて発生する障害を系統的に解析する。 低コストな断層調査と補助診断のためのプロキシモデル構築法を提案する。 実験の結果, プロキシモデルでは, アクセラレーション要求を50%-87.5%削減し, ステップ毎のNPU時間あたりの33.3倍のコスト削減を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 34.36661723828892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) post-training of large language models (LLMs) is computationally intensive and involves complex system pipelines with substantial debugging overhead. In practice, factors such as framework adaptation, numerical precision, and operator implementation can cause failures, including gradient overflow and loss divergence. Reproducing such failures directly on large models requires considerable time and computational resources. This paper systematically analyzes failures encountered during large-scale RL training on the Huawei Ascend platform, summarizes representative failure types, and identifies three model-side factors relevant to fault reproduction. Based on these factors, we propose a proxy-model construction method for low-cost fault investigation and auxiliary diagnosis. It employs structure-preserving, clustering-based expert pruning to select representative experts while retaining the model's backbone architecture, routing mechanism, and basic task capabilities. Our experimental results show that the proxy models reduce accelerator requirements by 50%-87.5% and achieve up to a 33.3x reduction in per-step NPU-hour cost, while preserving major training dynamics and reproducing fault responses consistent with the original models. Overall, the proxy models can serve as low-cost surrogates for fault reproduction, targeted validation, and auxiliary diagnosis in RL post-training.
• Abstract（参考訳）: 大規模言語モデル(LLM)の強化学習(RL)後のトレーニングは、計算集約的で、デバッグオーバーヘッドがかなり大きい複雑なシステムパイプラインを含んでいる。 実際には、フレームワーク適応、数値精度、演算子実装などの要因は、勾配オーバーフローや損失分散などの障害を引き起こす可能性がある。 このような失敗を大規模モデルで直接再現するには、かなりの時間と計算資源が必要である。 本稿では,Huawei Ascendプラットフォーム上での大規模RLトレーニングにおいて発生する障害を系統的に解析し,代表的障害タイプを要約し,障害再現に関連する3つのモデル側要因を同定する。 これらの要因に基づいて,低コストな断層調査と補助診断のためのプロキシモデル構築法を提案する。 モデルのバックボーンアーキテクチャ、ルーティング機構、基本的なタスク能力を維持しながら、特定の専門家を選択するために、構造保存、クラスタリングベースのエキスパートプルーニングを採用している。 実験の結果,プロキシモデルではアクセル要求を50%-87.5%削減し,ステップ毎のNPU時間コストを最大33.3倍削減すると同時に,主要なトレーニングダイナミクスを保ち,元のモデルと整合した障害応答を再現することがわかった。 全体として、プロキシモデルは、障害再現、ターゲットバリデーション、RL後トレーニングにおける補助診断のための低コストのサロゲートとして機能する。

関連論文リスト

• Enough is as good as a feast: A Comprehensive Analysis of How Reinforcement Learning Mitigates Task Conflicts in LLMs [52.129885179495226]
  本研究では,RL学習大言語モデル(LLM)の融合動作を従来のSFT学習モデルと比較し,系統的に検討した。 RLはタスクの競合を著しく低減し、マージ後のパフォーマンス劣化を低減します。
  論文  参考訳（メタデータ） (2026-07-24T07:08:57Z)
• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models [51.45122910254346]
  強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。 Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。 制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
  論文  参考訳（メタデータ） (2026-04-27T21:22:34Z)
• AutoOR: Scalably Post-training LLMs to Autoformalize Operations Research Problems [54.593031581486116]
  本稿では,拡張性のある合成データ生成および強化学習パイプラインであるAutoORについて述べる。 AutoORは、標準最適化フォームから検証済みのトレーニングデータを生成し、RL後トレーニングの報奨信号としてソルバ実行フィードバックを使用する。 我々は、AutoORのような手法がAIによる工業的意思決定を著しく加速できると考えている。
  論文  参考訳（メタデータ） (2026-04-18T03:24:54Z)
• Automated Evolutionary Optimization for Resource-Efficient Neural Network Training [0.3905614402386577]
  我々は、新しい自動機械学習(AutoML)フレームワーク、効率的な学習とロバスト自動化(PETRA)を開発した。 モデルアーキテクチャとトレーニング戦略に進化的最適化を適用する。 PETRAはプルーニング、量子化、損失正規化を含む。
  論文  参考訳（メタデータ） (2025-10-10T17:17:49Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。