Fugu-MT 論文翻訳(概要): Trust-Region Behavior Blending for On-Policy Distillation

論文の概要: Trust-Region Behavior Blending for On-Policy Distillation

arxiv url: http://arxiv.org/abs/2605.31159v1
Date: Fri, 29 May 2026 11:06:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-01 20:56:50.563434
Title: Trust-Region Behavior Blending for On-Policy Distillation
Title（参考訳）: オンライン蒸留における信頼緩和挙動のブレンディング
Abstract要約: 学生中心のKL信頼領域において,早期のロールアウト方針を最も近い教師間行動方針に置き換えるウォームアップ手法を提案する。 2つの数学推論蒸留条件の中で、TRBは比較手法の中で最も高い平均に達した。
参考スコア（独自算出の注目度）: 9.579381371152794
License: http://creativecommons.org/licenses/by/4.0/
Abstract: On-policy distillation (OPD) trains a student on prefixes sampled from its own policy while matching a stronger teacher. This addresses the prefix mismatch of offline distillation, but early student rollouts can still be poor, placing teacher supervision on weak or low-quality prefixes. We propose Trust-Region behavior Blending (TRB), a warmup method that replaces the early rollout policy with the closest-to-teacher behavior policy inside a student-centered KL trust region, while keeping the per-prefix reverse-KL OPD loss unchanged. The KL budget is annealed to zero, so training returns to pure student rollouts after warmup. Across two math-reasoning distillation settings, TRB attains the strongest average among the compared methods.
Abstract（参考訳）: オンライン蒸留 (On-policy distillation, OPD) は、生徒が自分の政策からサンプリングした接頭辞を、より強い教師とマッチングしながら訓練する。これはオフライン蒸留のプレフィックスミスマッチに対処するが、初期の学生のロールアウトは依然として貧弱であり、教師の監督は弱いまたは低い品質のプレフィックスに置かれる。学生中心のKL信頼領域内において,早期のロールアウト方針を最寄りの教師間行動方針に置き換えると共に,修正前の逆KL OPD損失を一定に抑えつつ,信頼関係の行動ブレンディング(TRB)を提案する。 KL予算はゼロに短縮されているため、トレーニングはウォームアップ後に純粋な学生のロールアウトに戻る。 2つの数学推論蒸留条件の中で、TRBは比較手法の中で最も高い平均に達した。

関連論文リスト

Simple-OPD: Demystifying Warm-up for On-policy Distillation [51.693357695326846]
オンライン蒸留(On-policy distillation、OPD)は、教師モデルからトークンレベルの監督を受け、生徒を自身のロールアウトで訓練する。データとトレーニングの両方の観点から、OPDのウォームアップをデミスティフィケートします。
論文参考訳（メタデータ） (2026-08-07T04:47:38Z)
OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models [39.15861870749305]
OPTD, On-Policy Transition Distillation with consistency-guided Adaptive compression。これは、数段階の学生自身の軌跡から部分的な状態をサンプリングし、凍結した質問のみの教師を使用して結果に整合した将来の候補者を特定し、現状の信頼でそれらを注文する。品質効率のトレードオフを継続的に改善し、評価された数ステップのベースラインの中で、全体的な品質に制約のあるAUPを最強に達成します。
論文参考訳（メタデータ） (2026-08-03T23:09:43Z)
Trajectory-Refined Distillation [25.346810464266497]
トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。 TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
論文参考訳（メタデータ） (2026-06-07T03:17:25Z)
Self-Distilled Policy Gradient [51.95967256628261]
都市の自己蒸留は、スパース・リワード強化学習のための密集した監督源として有望である。 SDPGは,グループ相対検証の利点と正規化標準偏差を組み合わせた,自己蒸留型政策段階のフレームワークである。
論文参考訳（メタデータ） (2026-06-02T02:31:13Z)
Trust Region On-Policy Distillation [38.98697509635889]
On-Policy Distillation (OPD) は、大規模言語モデルの効率的なポストトレーニング手法である。この研究は、信用割当戦略を通じて、信頼できるオン・ポリティクスのトークンレベルの監督に対処する。実験の結果、TrOPDはSoTA OPDベースラインを一貫して上回ることがわかった。
論文参考訳（メタデータ） (2026-05-31T14:04:51Z)
Adversarial Dual On-Policy Distillation from Expressive Flow-based Teacher [53.63143943452487]
フローマッチングの教師は、デモから学び、軽量の学生と共同で訓練される。教師は学生のロールアウトに2つの補完的な信号を提供します。アクションチャネルは、学生が訪問する州で密集したローカルターゲットを提供し、搾取を安定化させる。
論文参考訳（メタデータ） (2026-05-26T14:38:03Z)
Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。我々は、この原則を軌跡固有のリリースルールで運用する。強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文参考訳（メタデータ） (2026-05-13T15:05:30Z)
On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文参考訳（メタデータ） (2026-05-10T19:49:00Z)
Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文参考訳（メタデータ） (2026-05-08T14:38:53Z)
Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization [18.027254451537342]
既存の自己蒸留法は、文脈拡張型教師モデルに向けた学習をKLマッチングに大きく還元する。 textbfPreference-textbfBased textbfSelf-textbfDistillation (textbfPBSD)を提案する。
論文参考訳（メタデータ） (2026-05-06T15:31:50Z)
MAD-OPD: Breaking the Ceiling in On-Policy Distillation via Multi-Agent Debate [17.31967380175203]
そこで我々は,MAD-OPD (Multi-Agent Debate-driven On-Policy Distillation)を提案する。また,多段誤差合成によるトレーニングを安定させるために,ステップレベルサンプリングを付加したOPAD(On-Policy Agentic Distillation)を導入する。
論文参考訳（メタデータ） (2026-05-02T09:41:37Z)
Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
論文参考訳（メタデータ） (2026-02-26T00:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。