論文の概要: Turing LLM Post-Training: Calibrated Distillation and Efficient Dynamic-MoE Execution

• arxiv url: http://arxiv.org/abs/2610.39876v1
• Date: Thu, 29 Oct 2026 11:52:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.500436
• Title: Turing LLM Post-Training: Calibrated Distillation and Efficient Dynamic-MoE Execution
• Title（参考訳）: チューリングLDM後試験:キャリブレーション蒸留と高効率ダイナミックモード実行
• Abstract要約: 本研究では, 動的経路混合(MoE)モデルのポストトレーニングについて検討し, コンソリデーション効率を維持しつつ, 独立的に最適化されたスペシャリストの統合に着目した。 提案手法は,教師が選択したTop-$K$サポートと教師の損失正規化とクリッピングを併用した校正型多目的蒸留(C-MOPD)と,ポストキャパシティ境界幅ディスパッチ,終局リプレイ,非同期ロールアウト-トレーニングオーバーラップを用いた実行パスを組み合わせたものである。
• 参考スコア（独自算出の注目度）: 48.87945011066967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study post-training for dynamically routed mixture-of-experts (MoE) models, focusing on integrating independently optimized specialists while keeping consolidation efficient. Our approach combines calibrated multi-teacher on-policy distillation (C-MOPD), which matches each selected teacher on a local Top-$K$ support with teacher-wise loss normalization and clipping, with an execution path that uses post-capacity bounded-width dispatch, final-route replay, and asynchronous rollout--training overlap. On Turing-20B-A2B, the selected model achieves a four-domain normalized integration score of 0.9988 and retains at least 90.16\% of the measured specialist gain in every domain. At matched $K=32$, the full calibration objective scores 0.9962, compared with 0.9724 without calibration and 0.9834 without clipping. At a matched 8K response cap, the model exceeds both shared SFT and Qwen3-8B on all four reasoning-enabled mathematics and code benchmarks (unweighted mean: 85.92, versus 80.33 for Qwen3-8B and 74.21 for SFT), and improves over SFT on ten of twelve broader evaluation metrics. In a PPU-based profile, the combined execution configuration reduces consolidation step time from 398.7 to 139.3 seconds, an observed 2.86$\times$ speedup over serial execution. These results demonstrate strong specialist integration alongside more efficient consolidation, while reflecting the complete training and execution framework rather than any single component.
• Abstract（参考訳）: 本研究では, 動的経路混合(MoE)モデルのポストトレーニングについて検討し, 統合効率を保ちながら, 独立的に最適化されたスペシャリストの統合に着目した。 提案手法は,教師が選択したTop-$K$サポートと教師の損失正規化とクリッピングを併用した校正型多目的蒸留(C-MOPD)と,ポストキャパシティ境界幅ディスパッチ,終局リプレイ,非同期ロールアウト-トレーニングオーバーラップを用いた実行パスを組み合わせたものである。 チューリング20B-A2Bでは、選択されたモデルは、0.9988の4ドメイン正規化積分スコアを達成し、各ドメインで測定されたスペシャリストゲインの少なくとも90.16\%を保持する。 K=32$と一致し、キャリブレーション対象値は0.9962、キャリブレーションなし0.9724、クリップなし0.9834となる。 一致した8Kレスポンスキャップでは、モデルは4つの推論可能な数学とコードベンチマーク(85.92、Qwen3-8Bは80.33、SFTは74.21)で共有のSFTとQwen3-8Bを上回り、12のより広い評価指標のうち10のSFTよりも改善されている。 PPUベースのプロファイルでは、統合実行のステップタイムを398.7秒から139.3秒に短縮し、シリアル実行よりも2.86$\times$スピードアップする。 これらの結果は、単一のコンポーネントではなく、完全なトレーニングと実行フレームワークを反映しながら、より効率的な統合とともに、強力な専門的な統合を示しています。

関連論文リスト

• The Conflict Between Logic and Memory: Training Conditions for Optimizer-Dependent Rule Acquisition [11.323131201168572]
  単層ReLUネットワークにおける差分を規定する訓練条件について検討する。 ニュアンス・コネクテッド・トレーナビリティは、共有障害と相対的優位性の両方に反する。
  論文  参考訳（メタデータ） (2026-09-30T13:08:59Z)
• Optimize, Learn, Refine: Whole-Body Grasping and Pick-and-Throw with a Spiral Soft Robot [6.207793217754436]
  結果に基づくアクティベーション・スペース最適化により、初期未処理状態からの体全体の把握とピック・アンド・スローに対処する。 CMA-ESはサンプリングされた条件に対する解を生成し、タスク条件付き予測器はウォームスタートを学習し、CMA-ESは見当たらない条件のためにそれらを洗練する。 シミュレーションでは,3回の投球試験で492/500の達成率(98.4%)と98%,97%,94%の成功率を達成した。
  論文  参考訳（メタデータ） (2026-09-22T04:29:37Z)
• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• FlowCTS: On-policy Continuous Trajectory Supervision of Flow Models [65.32587991232592]
  フロー連続軌道スーパービジョン(FlowCTS)を提案する。 FlowCTSは、同じ学生訪問状態の学生と参照軌跡とを一致させる。 マルチ参照設定では、単一状態のFlowCTS-OPDはバニラKLベースのOPDよりも高速な収束で性能が向上する。
  論文  参考訳（メタデータ） (2026-07-27T15:03:22Z)
• Mach-Mind-4-Flash Technical Report [0.0]
  Mach-Mind-4-Flashは3Bアクティベートパラメータを持つMixture-of-Experts (MoE)エージェントモデルである。 トレーニング後の最適化は、事前学習計算をスケーリングすることなく、100B-パラメータクラスのモデルと同等かそれ以上のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-10T12:57:08Z)
• LLM Zeroth-Order Fine-Tuning is an Inference Workload [11.157054169482322]
  バックプロパゲーションを前方目標評価に置き換えるため、ゼロオーダー(ZO)ファインチューニングは大規模言語モデルにとって魅力的である。 既存の実装では、近隣のパラメータ状態の下で、支配的な作業が繰り返しスコアリングされているにもかかわらず、従来のトレーニングループ内でZOアルゴリズムを実行している。 LLM ZOファインチューニングは推論に支配される作業負荷であり,その繰り返しスコアリングフェーズをサービスランタイムを通じて実行することを示す。
  論文  参考訳（メタデータ） (2026-05-27T17:19:19Z)
• ParallelComp: Parallel Long-Context Compressor for Length Extrapolation [51.68913021512016]
  超長い文脈(テキスト長 >128K)の補間は、大きな言語モデル(LLM)にとって大きな課題である。 本研究では,メモリボトルネックを効果的に克服する並列長コンテキスト圧縮手法であるParallelCompを提案する。 チャンクスループットが1.76倍向上し、プリフィル段階では23.50倍の高速化を実現し、性能損失を無視できる。
  論文  参考訳（メタデータ） (2025-02-20T07:10:43Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。