論文の概要: MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.41104v1
• Date: Fri, 30 Oct 2026 00:50:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.570147
• Title: MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation
• Title（参考訳）: MUON-RTによるLLM自己蒸留用無モーメントムーン用教師軌跡の再利用
• Abstract要約: 隠れ重み行列の運動量バッファを除去するために教師学生の変位を再利用するMuon with Reused Teacher (Muon-RT)を提案する。 この変位は、適用更新の指数的に重み付けされた履歴を符号化し、局所モデルの下で時間的非相関ノイズを平滑化することを示す。 Qwen2.5-7B-Instructの自己蒸留細管(SDFT)では、Muon-RTはAdamWよりも平均精度を2.6ポイント、永続メモリは42%、運動量Muonは5.4ポイント、永続メモリは27%改善している。
• 参考スコア（独自算出の注目度）: 9.303319909979649
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-distillation methods for large language models with an exponential moving average (EMA) teacher already retain a history of student updates. Muon nevertheless stores a separate momentum buffer, increasing persistent training memory. We propose Muon with Reused Teacher (Muon-RT), which reuses the teacher-student displacement to eliminate momentum buffers for hidden weight matrices. We show that this displacement encodes an exponentially weighted history of applied updates and smooths temporally uncorrelated noise under a local model. Muon-RT removes its radial component, normalizes it spectrally, and mixes it with the current gradient after Newton-Schulz (NS) orthogonalization. Under explicit regularity and alignment assumptions, we establish linear contraction of an expected objective-gap bound toward a residual error level. With Self-Distillation Fine-Tuning (SDFT) on Qwen2.5-7B-Instruct, Muon-RT improves average accuracy over AdamW by 2.6 points with 42% less persistent memory, and over momentum Muon by 5.4 points with 27% less persistent memory. With Self-Distillation Policy Optimization (SDPO) on Olmo-3-7B-Instruct, it improves average accuracy over AdamW by 2.0 points.
• Abstract（参考訳）: 指数移動平均 (EMA) を持つ大規模言語モデルの自己蒸留法は, 生徒の更新履歴をすでに保持している。 にもかかわらず、Muonは個別の運動量バッファを格納し、永続的なトレーニングメモリを増大させる。 隠れ重み行列の運動量バッファを除去するために教師学生の変位を再利用するMuon with Reused Teacher (Muon-RT)を提案する。 この変位は、適用更新の指数的に重み付けされた履歴を符号化し、局所モデルの下で時間的非相関ノイズを平滑化することを示す。 Muon-RTは放射状成分を除去し、スペクトルを正規化し、ニュートン・シュルツ(NS)の直交化後に現在の勾配と混合する。 明示的な正則性とアライメントの仮定の下で、我々は、残差レベルに対して有意な目標ギャップの線形収縮を確立する。 Qwen2.5-7B-Instructの自己蒸留細管(SDFT)では、Muon-RTはAdamWよりも平均精度を2.6ポイント、永続メモリは42%、運動量Muonは5.4ポイント、永続メモリは27%改善している。 Olmo-3-7B-Instruct上での自己蒸留政策最適化(SDPO)により、AdamWよりも平均精度を2.0ポイント向上する。

関連論文リスト

• Simplifying and Improving On-Policy Distillation for Few-Step Diffusion [60.45650436067934]
  少ない段階の蒸留は拡散・流動モデルのサンプリングコストを低減させるが、既存の手法では補助的なスコアモデルや特殊なアーキテクチャを必要とすることが多い。 4-NFE生成の基盤として, 簡易なオン・ポリティクス速度回帰法がすでに有効であることを示す。 本稿では,学習者の区間平均予測から局所的な補正を分離する訓練専用残差プロキシであるPivotを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T14:35:46Z)
• TACD: Distilling Efficient Text-to-Motion Models via Terminal Amplification Control [61.31878177726721]
  TACD (terminal-Amplification-Controlled Distillation) は、効率的なモーションジェネレータを訓練するためのオンラインアプローチである。 本研究は, オンライン蒸留法を用いて, 学生が生成した軌跡に沿ったクリーンモーション予測を監督する。
  論文  参考訳（メタデータ） (2026-10-02T06:06:36Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Scaling Muon for Diffusion Transformers [32.20758643343064]
  行列対応のMuonは、一方向にわたる更新のバランスをとることで、大規模なモデルトレーニングを改善するが、そのスケーリング動作と、大規模なトランスフォーマー(DiT)のエンドツーエンド効率は、まだ不明である。 まず、1.3B から 15B のパラメータから DiT 上の Muon のスケーリング挙動を定式化し、AdamW に対する最適化と生成的品質上の利点がモデルスケールにわたって持続していることを示した。 各ステップ(K)毎にNS5スペクトルをフルに更新し、残りのステップにおける現在の運動量に基づく低計算・通信コストの行制限更新を適用する周期的Row-wise Muonを導入する。
  論文  参考訳（メタデータ） (2026-08-21T07:40:28Z)
• Why Muon Outperforms Adam: A Curvature Perspective [49.85900116602357]
  Muonは、大規模な言語モデルトレーニングにおいて、Adamよりもトレーニング効率を約2倍改善する。 私たちの研究は、Adamに対するMuonの優位性を曲率の観点から軽視する第一歩を踏み出します。
  論文  参考訳（メタデータ） (2026-06-03T09:40:30Z)
• Muown: Row-Norm Control for Muon Optimization [41.541871767555484]
  Muonは、言語モデルの事前トレーニングにおいてAdamWと強く競合する。 Muownは、Muon、SOAP、AdamW、Lionの複雑さを改善します。
  論文  参考訳（メタデータ） (2026-05-11T16:26:06Z)
• Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
  Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。 メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
  論文  参考訳（メタデータ） (2026-04-11T00:27:40Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。