論文の概要: Token Utility for On-Policy Distillation via Local Trust-Region Optimization

• arxiv url: http://arxiv.org/abs/2610.18883v1
• Date: Thu, 01 Oct 2026 20:01:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.542781
• Title: Token Utility for On-Policy Distillation via Local Trust-Region Optimization
• Title（参考訳）: ローカルトラスト-レギュレーション最適化によるオンライン蒸留のためのトークンの有用性
• Abstract要約: オンライン蒸留(OPD)におけるトークン選択手法は,多様な信号を用いて学生の訪問位置を優先する。 我々は蒸留目標自体からトークンの重要性を導出する。各ポジションの損失は、学生の予測分布に等しい局所的なKL予算の下でどの程度減少できるのか? 有効性を、連続平均正規化トークン重み付けであるFisher Utility Weighting (FUW)としてインスタンス化する。
• 参考スコア（独自算出の注目度）: 4.655348142779672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Token-selection methods for on-policy distillation (OPD) prioritize student-visited positions using diverse signals, including uncertainty, teacher-student disagreement, and mismatch direction. We instead derive token importance from the distillation objective itself: how much can each position's loss decrease under an equal local KL budget on the student's predictive distribution? The answer is the utility $s_t=g_t^\top F_t^\dagger g_t$, where $g_t$ is the logit gradient and $F_t$ is the categorical Fisher matrix. For reverse-KL it equals the student-weighted variance of the student-teacher log-probability ratio, and for forward-KL it equals the Pearson $χ^2$ divergence, so the appropriate utility follows from the choice of objective. On shared training checkpoints, several independently motivated criteria, including student entropy, KL disagreement, and TIP, concentrate their importance on nearly the same positions as the derived utility at a 50\% selection fraction, while diverging at stricter fractions and for direction-specific criteria. We instantiate the utility as Fisher Utility Weighting (FUW), a continuous, mean-normalized token weighting. Across seven mathematical reasoning benchmarks and three Qwen3 student-teacher pairs, FUW improves over matched uniform OPD under both reverse-KL (1.35-4.0 macro points) and forward-KL (1.08-2.71 macro points), and is competitive with existing selective methods using a single closed-form score derived from the training objective.
• Abstract（参考訳）: オンライン蒸留(OPD)におけるトークン選択手法は,不確実性,教師と学生の意見の不一致,ミスマッチ方向などの多様な信号を用いて,学生の訪問位置を優先する。 その代わりに、蒸留目標自体からトークンの重要性を導出します。各ポジションの損失は、学生の予測分布に等しい局所的なKL予算の下で、どの程度減少できるのか? 答えはユーティリティ $s_t=g_t^\top F_t^\dagger g_t$ で、$g_t$ はロジット勾配、$F_t$ はカテゴリー行列である。 逆KLの場合、これは学生と教師の対数確率比の差分と等しく、前方KLの場合、ピアソンの差分と等しいので、適切な効用は目的の選択から従う。 共有学習チェックポイントでは、学生エントロピー、KL不一致、TIPなど、独立したモチベーションを持ついくつかの基準が、導出ユーティリティとほぼ同じ位置を50倍の選択率で集中し、厳密な分数や方向特化基準に偏っている。 有効性を、連続平均正規化トークン重み付けであるFisher Utility Weighting (FUW)としてインスタンス化する。 7つの数学的推論ベンチマークと3つのQwen3学生-教師ペアで、FUWは逆KL(1.35-4.0マクロポイント)と前方KL(1.8-2.71マクロポイント)の両方で一致した統一PDを改良し、トレーニング目的から派生した1つの閉形式スコアを用いた既存の選択手法と競合する。

関連論文リスト

• OPSRD: On-Policy Self-Role Distillation [7.947611649764756]
  OPSRDは、参照ソリューションを使わずに、政治上の自己蒸留のための特権的な教育コンテキストとして、固定された専門家の役割を使用する。 ロールフリーの学生は軌道を生成し、同じベースモデルの凍結インスタンスはその正確なプレフィックスにロール条件の分布を提供する。 フォワードKLは、個々の語彙への貢献を制限するクリッピングによって、学生が過小評価する代替案をターゲットにしている。
  論文  参考訳（メタデータ） (2026-09-30T14:56:10Z)
• Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation [23.75915752388583]
  On-policy Self-distillation (OPSD) は、参照ソリューションと学生サンプルの接頭辞を見ることができる特権教師を用いて数学的推論モデルを訓練する。 局所的なパラメータ摂動は、同じ参照コンテキスト下で補完的な参照整列補正を示す。 近隣のOPSDを導入し、学生が訪問する州でこれらの修正を監督する。
  論文  参考訳（メタデータ） (2026-09-30T13:14:39Z)
• Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
  複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。 オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。 OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
  論文  参考訳（メタデータ） (2026-09-29T23:47:58Z)
• ALRA: Adaptive Local Relational Alignment for Logit-Based Pre-training Distillation of Autoregressive Language Models [4.5311655360445515]
  地元の選択は学生が考えるトークンを見逃しかねないが、学生のみの選択は訓練の早い段階で不正確なランキングに頼ることができる。 本稿では,学生の提案と教師指導を組み合わせた位置特化フレームワークである適応的局所アライメント(ALRA)を提案する。 ALRAは最強の蒸留ベースラインである0.94点と0.83点を越え、予修蒸留を2.31点と2.91点に改善する。
  論文  参考訳（メタデータ） (2026-09-03T04:26:39Z)
• A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
  学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
  論文  参考訳（メタデータ） (2026-08-26T11:14:42Z)
• $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
  オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。 我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-07-30T17:41:16Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• PAINT: Partial-Solution Adaptive Interpolated Training for Self-Distilled Reasoners [9.324642081509756]
  大規模言語モデル(LLM)推論には、モデル自身のテスト時間状態とトークンレベルの情報の両方に整合した監視が必要である。 近年の独占型自己蒸留は,同じモデルによる学生のロールアウトを,検証済みのソリューションコンテキスト下で評価することによって中等地を探索している。 ロールアウト-参照重なりに応じて検証された解を隠蔽し、エントロピー-ミスマッチトークンのスパースセットに小さなエネルギー空間を適用したPAINTを提案する。
  論文  参考訳（メタデータ） (2026-04-29T11:56:07Z)
• FlowRL: Matching Reward Distributions for LLM Reasoning [69.88820066093798]
  大規模言語モデル(LLM)強化学習(RL)において、報酬を最大化する代わりに、フローバランシングによる全報酬分布をマッチングするフローRLを提案する。 我々はスカラー報酬を学習可能な分割関数を用いて正規化対象分布に変換し、その後、ポリシーと対象分布との逆KL分散を最小化する。
  論文  参考訳（メタデータ） (2025-09-18T17:56:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。