論文の概要: TIP: Token Importance in On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2604.14084v2
• Date: Sun, 19 Apr 2026 02:47:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 13:51:31.115746
• Title: TIP: Token Importance in On-Policy Distillation
• Title（参考訳）: TIP : オンライン蒸留におけるトークンの重要性
• Abstract要約: 情報トークンは,高校生のエントロピーが高い位置と学生のエントロピーが低い位置の2つの領域から得られることを示す。 TIP (Token Importance in On-Policy distillation), 学生エントロピーに対する2軸分類法, 教師の分散傾向を整理した。 本画像は,MATH-500およびAIME 2024/2025におけるQwen3,Llama,Qwen2.5にまたがる3つの教師学生対と,長期エージェント計画のためのDeepPlanningベンチマークで検証した。
• 参考スコア（独自算出の注目度）: 20.04756350098974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy knowledge distillation (OPD) trains a student on its own rollouts under token-level supervision from a teacher. Not all token positions matter equally, but existing views of token importance are incomplete. We ask a direct question: which tokens carry the most useful learning signal in OPD? Our answer is that informative tokens come from two regions: positions with high student entropy, and positions with low student entropy plus high teacher--student divergence, where the student is overconfident and wrong. Empirically, student entropy is a strong first-order proxy: retaining $50\%$ of tokens with entropy-based sampling matches or exceeds all-token training while reducing peak memory by up to $47\%$. But entropy alone misses a second important region. When we isolate low-entropy, high-divergence tokens, training on fewer than $10\%$ of all tokens nearly matches full-token baselines, showing that overconfident tokens carry dense corrective signal despite being nearly invisible to entropy-only rules. We organize these findings with TIP (Token Importance in on-Policy distillation), a two-axis taxonomy over student entropy and teacher--student divergence, and give a theoretical explanation for why entropy is useful yet structurally incomplete. This view motivates type-aware token selection rules that combine uncertainty and disagreement. We validate this picture across three teacher--student pairs spanning Qwen3, Llama, and Qwen2.5 on MATH-500 and AIME 2024/2025, and on the DeepPlanning benchmark for long-horizon agentic planning, where Q3-only training on $<$$20\%$ of tokens surpasses full-token OPD. Our experiments are implemented by extending the OPD repository https://github.com/HJSang/OPSD_OnPolicyDistillation, which supports memory-efficient distillation of larger models under limited GPU budgets.
• Abstract（参考訳）: オンライン知識蒸留(On-policy knowledge distillation、OPD)は、教師のトークンレベルの監督の下で、学生を自身のロールアウトで訓練する。 すべてのトークンの位置が等しく重要であるわけではないが、トークンの重要性に関する既存の見解は不完全である。 我々は直接質問する:どのトークンがOPDでもっとも有用な学習信号を持っているか? 我々の答えは、情報トークンは、生徒のエントロピーが高い位置と、学生のエントロピーが低い位置と、生徒が過度に自信と間違いを負う学生の発散率の高い位置の2つの領域から来ているということだ。 生徒のエントロピーは、エントロピーベースのサンプリングマッチを持つトークンの50\%を保持、あるいは全学トレーニングを超え、ピークメモリを最大4,7\%まで削減するという、強力なファーストオーダープロキシである。 しかし、エントロピーだけでも第2の重要領域を見逃している。 低エントロピー、高発散トークンを分離すると、すべてのトークンの10セント未満のトレーニングは、ほぼ完全なベースラインと一致し、過信トークンはエントロピーのみのルールにほとんど見えないにもかかわらず、密集した修正信号を運ぶことを示す。 TIP (Token Importance in On-Policy distillation, a two-axis taxonomy over students entropy and teacher-student divergence) を用いてこれらの知見を整理し, エントロピーが構造的に不完全である理由を理論的に説明する。 この見解は、不確実性と不一致を組み合わせたタイプアウェアトークン選択ルールを動機付けている。 我々は,Qwen3,Llama,Qwen2.5にまたがる,MATH-500とAIME 2024/2025にまたがる3つの教師学生ペアと,Q3のみのトークンの額がフルトークンPDを超えている長期エージェント計画のためのDeepPlanningベンチマークで,この図を検証した。 OPDリポジトリ https://github.com/HJSang/OPSD_OnPolicyDistillation を拡張して,GPU予算に制限のある大規模モデルのメモリ効率の高い蒸留をサポートする実験を行った。

関連論文リスト

• GMTS: Gradient Magnitude-based Token Selection Improves RLVR Training for LLM Reasoning [1.238039401707697]
  本稿では,トークンの重要度を定量化するために,グラディエント・マグニチュードに基づくToken Selection(GMTS)手法を提案する。 GMTSがランク付けした上位20%トークンのトレーニングは、3つの推論領域と様々なモデルサイズでエントロピーベースのトークン選択よりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-08-31T11:41:11Z)
• A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
  学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
  論文  参考訳（メタデータ） (2026-08-26T11:14:42Z)
• SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning [54.402550664505576]
  オンライン蒸留(OPD)は、より強力な教師モデルから短文の学生に推論能力を伝達する有望な方法を提供する。 長文推論モデル SU-01 から短文学習者モデルへの証明推論能力の移譲により,この設定について検討する。 Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4を含む同族および異族の両方の実験は、数学的推論において一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-08-14T12:57:02Z)
• Mismatch Matters: On-Policy Distillation Beyond Token Agreement [27.396104103072844]
  ミスマッチトークンは,主に学生不足トークンと学生不足トークンの2種類に分類される。 そこで本研究では,有界ヘリンジャー成形法を応用し,最も重大なサンプル過剰を抑えるためのTIDEと,欠陥のある確率質量を復元するための分析教師の上位K$インジェクションを提案する。
  論文  参考訳（メタデータ） (2026-08-10T16:53:14Z)
• On the Position Bias of On-Policy Distillation [19.36735875165262]
  IW-OPD (Importance-Weighted On-Policy Distillation) は, OPD (On-Policy Distillation) よりもはるかに早く収束することを示す。 IW-OPDは、同じサイズとクロススケールの両方で標準のPDよりも優れた最終性能を実現し、AIME-2025では6.9ポイントまで性能が向上した。
  論文  参考訳（メタデータ） (2026-06-21T17:20:21Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation [28.572361799234784]
  生のKL不一致が学習価値の粗いプロキシであることを示す。 我々はこの局所的な互換性をトークンの教育可能性として定式化する。 軽量なトークン配置選択法であるTeachability-Aware OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-26T10:56:46Z)
• EGAD: Entropy-Guided Adaptive Distillation for Token-Level Knowledge Transfer [72.31900638260758]
  大規模言語モデル(LLM)は、様々な領域で顕著なパフォーマンスを実現している。 知識蒸留は、大きな教師モデルからより小さな学生モデルに知識を移すことによって、有望な解決策を提供する。 本稿では,トークンレベルでのトレーニングプロセスを動的に調整する,エントロピーに基づく適応蒸留方式を提案する。
  論文  参考訳（メタデータ） (2026-05-03T06:05:51Z)
• Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens [9.36751822006717]
  トークンレベルの未学習正規化器として,Entropy-Guided Token Weighting (ETW)を提案する。 ETWは、予測分布のエントロピーをトークン情報性のプロキシとして利用する。 情報トークンはエントロピーが高い傾向を示す一方、構造トークンはエントロピーが低い傾向を示す。
  論文  参考訳（メタデータ） (2026-04-20T04:20:29Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• GTPO and GRPO-S: Token and Sequence-Level Reward Shaping with Policy Entropy [5.691990020513277]
  本稿では,2つの新しいアルゴリズムによる報酬の微粒化を促進するメカニズムである動的エントロピー重み付けを提案する。 報酬形成のための政策のエントロピーを再取得することで、我々は真にトークン単位の信用割り当てを達成できる。
  論文  参考訳（メタデータ） (2025-08-06T11:42:47Z)
• Improving Large Language Models with Concept-Aware Fine-Tuning [55.59287380665864]
  概念認識ファインチューニング(CAFT)は,大規模言語モデル(LLM)のための新しいマルチトークン学習手法である CAFTは複数のトークンにまたがるシーケンスの学習を可能にし、より強力な概念認識学習を促進する。 実験は、従来の次世代ファインタニング法と比較して大幅に改善された。
  論文  参考訳（メタデータ） (2025-06-09T14:55:00Z)
• Beyond the 80/20 Rule: High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning [80.87085014818052]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLM)の推論能力向上のための強力なアプローチとして登場した。 本研究では,トークンエントロピーパターンの新たな視点からRLVRの先駆的な探索を行う。 トークンのごく一部だけが高いエントロピーを示しており、これらのトークンは様々な推論経路に向けてモデルを操る重要なフォークとして機能する。
  論文  参考訳（メタデータ） (2025-06-02T17:54:39Z)
• A Token is Worth over 1,000 Tokens: Efficient Knowledge Distillation through Low-Rank Clone [41.9829555690118]
  低ランククローン(Lol-Rank Clone、LRC)は、強力な教師モデルによる行動等価性を目指すSLMを構築するための効率的な事前学習手法である。 LRCは、20Bトークンしか使用せず、1000倍以上のトレーニング効率を達成しながら、何十兆ものトークンでトレーニングされた最先端のモデルと一致または超えている。
  論文  参考訳（メタデータ） (2025-05-19T07:10:42Z)
• Tokenization and the Noiseless Channel [71.25796813073399]
  優れたトークン化器は、ある入力がモデルに伝達される手段であるチャネルの使用率を高める。 機械翻訳では、複数のトークン化器において、$alpha = 2.5$のR'enyiエントロピーがtextscBleu: $0.78$と非常に強い相関を持つことがわかった。
  論文  参考訳（メタデータ） (2023-06-29T10:32:09Z)
• WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
  キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。 最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。 本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
  論文  参考訳（メタデータ） (2022-11-13T09:56:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。