論文の概要: Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion

• arxiv url: http://arxiv.org/abs/2603.19266v1
• Date: Thu, 26 Feb 2026 23:01:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:12.80703
• Title: Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion
• Title（参考訳）: 精製法:説明反転によるLLMの強化蒸留
• Authors: Zhen Tan, Chengshuai Zhao, Song Wang, Jundong Li, Tianlong Chen, Huan Liu,
• Abstract要約: 単純な模倣を超えて、より深い概念的理解を具現化する新しい枠組みを導入する。 underlinetextitFirst, to address pattern memorization, Explanatory Inversion (EI) generated target explanatory probes' underlinetextitSecondは、一般化を改善するために、Explainatory GRPO (texttEXGRPO) は、新しいダイアログ構造ユーティリティーボーナスを用いた強化学習アルゴリズムを使用する。
• 参考スコア（独自算出の注目度）: 84.20493238687187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distilling robust reasoning capabilities from large language models (LLMs) into smaller, computationally efficient student models remains an unresolved challenge. Despite recent advances, distilled models frequently suffer from superficial pattern memorization and subpar generalization. To overcome these limitations, we introduce a novel distillation framework that moves beyond simple mimicry to instill a deeper conceptual understanding. Our framework features two key innovations. \underline{\textit{First}}, to address pattern memorization, Explanatory Inversion (EI) generates targeted ``explanatory probes'' that compel the student to articulate the underlying logic behind an answer, rather than just memorizing it. \underline{\textit{Second}}, to improve generalization, Explanatory GRPO (\texttt{EXGRPO}) uses a reinforcement learning algorithm with a novel Dialogue Structure Utility Bonus, which explicitly rewards the student for maintaining a coherent reasoning process across these probes. Extensive evaluations on 12 datasets demonstrate significant improvements. Using Gemma-7b as the student model, our method yields an average \textbf{20.39\%} increase over zero-shot performance and a \textbf{6.02\%} improvement over the state-of-the-art distillation baselines. Moreover, models distilled with our method show remarkable training efficiency (e.g., surpassing vanilla fine-tuning with \textbf{10-25\%} training data) and strong generalization to out-of-distribution tasks. Implementation is released at https://github.com/Zhen-Tan-dmml/ExGRPO.git.
• Abstract（参考訳）: 大規模言語モデル(LLM)からより小さく、計算効率の良い学生モデルへの堅牢な推論能力の蒸留は、未解決の課題である。 近年の進歩にもかかわらず、蒸留されたモデルは表面的なパターン記憶とサブパー一般化にしばしば苦しむ。 これらの制限を克服するために,本研究では, 単純な模倣を超えて, より深い概念的理解を浸透させる新しい蒸留枠組みを導入する。 私たちのフレームワークには2つの重要なイノベーションがあります。 パターン記憶に対処するために、Explanatory Inversion (EI) はターゲットの ‘explanatory probes' を生成する。 一般化を改善するために、Explainatory GRPO (\texttt{EXGRPO}) は、新しいダイアログ構造 Utility Bonus を用いた強化学習アルゴリズムを使用する。 12のデータセットに対する大規模な評価は、大幅な改善を示している。 Gemma-7bを学生モデルとして用いると、ゼロショット性能よりも平均的 \textbf{20.39\%} が増加し、最先端蒸留ベースラインよりも平均 \textbf{6.02\%} が向上する。 さらに,本法を用いて蒸留したモデルでは,バニラ微調整を超越した訓練効率(例:textbf{10-25\%} トレーニングデータ)と,アウト・オブ・ディストリビューションタスクへの強い一般化が見られた。 実装はhttps://github.com/Zhen-Tan-dmml/ExGRPO.gitで公開されている。

関連論文リスト

• R^3: Replay, Reflection, and Ranking Rewards for LLM Reinforcement Learning [32.16683059021539]
  大規模推論モデル(LRM)は、構造化推論によって多様で複雑な問題を解くことを目的としている。 グループベースの政策最適化手法の最近の進歩は、プロセスレベルのアノテーションに頼らず、安定した優位性推定を可能にすることを約束している。 本報告では,(1)群内優位性を維持するEmphcross-context underlinetextbfReplay戦略,(2)emphin-context self-underlinetextbfReflectionメカニズムの3つの方向に沿った強化学習機構を提案する。
  論文  参考訳（メタデータ） (2026-01-27T13:55:34Z)
• TL;DR: Too Long, Do Re-weighting for Efficient LLM Reasoning Compression [55.37723860832064]
  高度なデータアノテーションに依存しない動的比に基づくトレーニングパイプラインを提案する。 我々は、DeepSeek-R1-Distill-7BとDeepSeek-R1-Distill-14Bのモデルと、様々な難易度を持つ様々なベンチマークのモデルに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-06-03T09:23:41Z)
• FDBPL: Faster Distillation-Based Prompt Learning for Region-Aware Vision-Language Models Adaptation [17.51747913191231]
  大規模なtextbfFaster large textbfDistillation-large textbfBased large textbfPrompt large textbfLL (textbfFDBPL) を提案する。 複数のトレーニングステージにまたがってソフトな監視コンテキストを共有し、アクセラレーションされたI/Oを実装することで、問題に対処する。11データセットにわたる包括的な評価は、ベース・ツー・ニューな一般化、クロス・データセットの転送、ロバストネステストにおいて優れたパフォーマンスを示し、より高速なトレーニング速度で2.2倍の速さで達成する。
  論文  参考訳（メタデータ） (2025-05-23T15:57:16Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• Dynamic Context Pruning for Efficient and Interpretable Autoregressive Transformers [29.319666323947708]
  本稿では,モデル表現性を保ちながら文脈情報を動的に生成する手法を提案する。 本手法では,文脈からどの非形式的トークンをドロップできるかを学習可能なメカニズムを用いて決定する。 我々の参照実装は、推論スループットの増大とメモリの節約を最大2ドルまで達成します。
  論文  参考訳（メタデータ） (2023-05-25T07:39:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。