論文の概要: Learning What to Distill: Bilevel Top-K Token Selection for Self-Distillation in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.07247v1
• Date: Mon, 05 Oct 2026 18:48:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.603168
• Title: Learning What to Distill: Bilevel Top-K Token Selection for Self-Distillation in Large Language Models
• Title（参考訳）: 蒸留方法の学習:大規模言語モデルにおける自己蒸留のための2レベルトップK選択
• Abstract要約: BiToK-SDは、2レベル最適化に基づくトークン選択法であり、オンライン自己蒸留中に蒸留をどこに適用すべきかを学習する。 BiToK-SDは、軽量な追加計算しか必要とせず、比較したすべてのメソッドの中で最高の平均性能を達成する。
• 参考スコア（独自算出の注目度）: 21.909109924014583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have shown strong reasoning capabilities, but their high inference costs make knowledge distillation an important approach for transferring such capabilities to compact models in resource-constrained scenarios. On-policy self-distillation further reduces the reliance on external large teacher models while improving the reasoning ability of compact language models. However, existing methods typically either distill all token positions uniformly or select tokens using fixed heuristic criteria, assigning the same distillation strength to the selected positions rather than adaptively learning which tokens are most beneficial for distillation. To address these limitations, we propose BiToK-SD (Bilevel Top-K Token Selection for Self-Distillation), a bilevel-optimization-based token selection method that learns where distillation should be applied during on-policy self-distillation. Specifically, BiToK-SD is formulated as a bilevel optimization problem, where the lower-level problem models Top-K token selection as a differentiable threshold-based relaxation, allowing the selected positions to adapt as the student policy evolves, while the upper-level problem performs knowledge distillation on the selected positions. Experiments on mathematical reasoning benchmarks show that BiToK-SD achieves the best average performance among all compared methods while requiring only lightweight additional computation.
• Abstract（参考訳）: 大規模言語モデルは強い推論能力を示してきたが、その高い推論コストは、知識蒸留を資源制約のあるシナリオにおいて、そのような能力をコンパクトなモデルに転送するための重要なアプローチとなる。 オンライン自己蒸留は、コンパクト言語モデルの推論能力を改善しつつ、外部の大規模教師モデルへの依存をさらに軽減する。 しかし、既存の方法では、全てのトークンの位置を均一に蒸留するか、固定されたヒューリスティック基準を用いてトークンを選択し、どのトークンが蒸留に最も有用であるかを適応的に学習するのではなく、同じ蒸留強度を選択された位置に割り当てる。 このような制約に対処するため,両レベル最適化型トークン選択法であるBiToK-SD(Bilevel Top-K Token Selection for Self-Distillation)を提案する。 具体的には、BiToK-SDは二段階最適化問題として定式化され、低レベル問題は、Top-Kトークン選択を微分可能なしきい値に基づく緩和としてモデル化し、選択した位置が学生ポリシーの進展に合わせて適応できるようにし、上位レベル問題は選択した位置で知識蒸留を行う。 数学的推論ベンチマークの実験により、BiToK-SDは、軽量な追加計算しか必要とせず、比較したすべてのメソッドの中で最高の平均性能を達成することが示された。

関連論文リスト

• Breaking the Tokenizer Barrier: On-Policy Distillation across Model Families [32.34854415784466]
  On-Policy Distillation (OPD)は、ドメインエキスパートから学生モデルへ知識を伝達するためのLarge Language Models (LLM)のポストトレーニングにおいて、中核となる技術となっている。 既存のOPD蒸留法では、教師と学生が同じトークン化剤を共有する必要があり、モデルシリーズにおけるPDの適用性を制限している。 本研究では, 標準的なオンライン蒸留法をモデルファミリ間で動作させることにより, 高忠実度トークンレベル信号が異なるトークン化器間で伝搬することを保証する。
  論文  参考訳（メタデータ） (2026-06-08T13:12:01Z)
• EGAD: Entropy-Guided Adaptive Distillation for Token-Level Knowledge Transfer [72.31900638260758]
  大規模言語モデル(LLM)は、様々な領域で顕著なパフォーマンスを実現している。 知識蒸留は、大きな教師モデルからより小さな学生モデルに知識を移すことによって、有望な解決策を提供する。 本稿では,トークンレベルでのトレーニングプロセスを動的に調整する,エントロピーに基づく適応蒸留方式を提案する。
  論文  参考訳（メタデータ） (2026-05-03T06:05:51Z)
• On-Policy Context Distillation for Language Models [92.82835176360864]
  本稿では, オンライン蒸留とコンテキスト蒸留を橋渡しするフレームワークである, オン・ポリティ・コンテキスト蒸留(OPCD)を提案する。 実験的知識蒸留とシステム急速蒸留の2つの重要な応用におけるOPCDの有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-12T18:58:28Z)
• Positive-Unlabeled Reinforcement Learning Distillation for On-Premise Small Models [130.8912476550625]
  そこで本研究では, 現場での小型モデル展開のための正の無ラベル(PU)強化学習蒸留法を提案する。 本手法は,教師の好み最適化能力をブラックボックス世代から地元の訓練可能な学生に蒸留する。 実験により,本手法は低コストで一貫した強靭な性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-01-28T15:14:50Z)
• ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning [51.133569963553576]
  ssTokenは自己変調されたセマンティックなToken Selectionアプローチである。 自己変調の選択とセマンティック・アウェアの選択の両方が、フルデータの微調整よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-10-21T03:21:04Z)
• LLM-Oriented Token-Adaptive Knowledge Distillation [64.08412563818662]
  本稿では,各トークンのリアルタイム学習状態に蒸留プロセスを適用する新しいフレームワークを提案する。 AdaKDは、2つの相乗的加群からなる。 プラグアンドプレイフレームワークとして、AdaKDは複数のモデルアーキテクチャやベンチマーク上で様々な蒸留方法の性能を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2025-10-13T16:55:07Z)
• Analyzing the Importance of Blank for CTC-Based Knowledge Distillation [21.655220814355552]
  我々は, ブランクトークン処理に焦点をあてて, さまざまなCTCベースの蒸留変種について検討する。 空白除去のような一般的なアプローチは,必ずしも棚から外れているとは限らない。 知識蒸留におけるCTC損失を,性能劣化を最小限に抑えて除去することができる。
  論文  参考訳（メタデータ） (2025-06-02T10:08:38Z)
• Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
  マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。 これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。 実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。 特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
  論文  参考訳（メタデータ） (2024-01-27T19:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。