論文の概要: GIFT: Gradient Informed Filtering for Distillation Augmented Reasoning RL

• arxiv url: http://arxiv.org/abs/2610.30796v1
• Date: Thu, 22 Oct 2026 06:22:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.235166
• Title: GIFT: Gradient Informed Filtering for Distillation Augmented Reasoning RL
• Title（参考訳）: GIFT:拡張共振RLのためのグラディエントインフォームドフィルタ
• Abstract要約: GIFTは教師が適用すべき割り当て問題に対処する新しい手法である。 数学的および論理的推論ベンチマークの実験は、GIFTが強いベースラインを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 38.45634560913869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large language models for complex reasoning tasks relies on two complementary signals: sparse, outcome-grounded reinforcement learning (RL) for correctness, and dense, token-level distillation for guidance. However, complementarity in supervision does not guarantee compatibility in optimization; imitation-focused distillation can conflict with the outcome-driven RL objective, and existing hybrids lack a principled resolution. We propose \textbf{GIFT} (\textbf{G}radient-\textbf{I}nformed \textbf{F}il\textbf{T}ering for Distillation-Augmented Reasoning RL), a novel method that directly addresses the allocation problem of which teacher updates to apply. GIFT performs a token-level geometric analysis, decomposing the distillation gradient into a component \textbf{parallel} to the RL gradient, which measures first-order conflict and provides a \textbf{safety} filter, and a component \textbf{orthogonal} to it, which quantifies novel directional guidance and provides a measure of \textbf{value}. This decomposition yields a principled scoring rule to rank token-level guidance. We combine this with a progressive \textbf{coverage annealing} schedule that shrinks the budget of tokens receiving distillation, ensuring that the most conflicting updates are discarded first while the most complementary ones are retained at full strength. This facilitates a smooth transition from dense, geometrically-filtered guidance to a pure, outcome-grounded objective at convergence. Extensive experiments on mathematical and logical reasoning benchmarks show that GIFT consistently outperforms strong baselines across multiple model scales, achieving relative gains of up to 9.5\% on difficult mathematical reasoning tasks. Code: https://github.com/lilifree/GIFT
• Abstract（参考訳）: 複雑な推論タスクのための大規模言語モデルのトレーニングには、スパース(sparse)と結果基底強化学習(regressed learning, RL)の2つの補完的なシグナル、そしてガイダンスのための密度の高いトークンレベルの蒸留がある。 しかし、監督の相補性は最適化の相補性を保証するものではなく、模倣に焦点を当てた蒸留は結果駆動のRL目標と矛盾し、既存のハイブリッドは原則化された解決法を欠いている。 本稿では,教師が更新する割当て問題に直接対処する新しい手法である「Distillation-Augmented Reasoning RL」に対して,「textbf{GIFT} (\textbf{G}radient-\textbf{I}nformed \textbf{F}il\textbf{T}ering for Distillation-Augmented Reasoning RL」を提案する。 GIFT はトークンレベルの幾何学的解析を行い、蒸留勾配を RL 勾配に分解し、一階のコンフリクトを測定して \textbf{safety} フィルタとそれに対するコンポーネント \textbf{orthogonal} を提供する。 この分解はトークンレベルのガイダンスをランク付けする原則的なスコアリングルールをもたらす。 我々は、これをプログレッシブな \textbf{coverage annealing} スケジュールと組み合わせることで、蒸留を受けるトークンの予算を縮小し、最も矛盾する更新が最初に破棄され、最も補完的な更新が完全な強度で保持されることを保証する。 これにより、密度が高く、幾何学的にフィルタリングされたガイダンスから、収束時の純粋で結果に基づく目的へと円滑に移行することができる。 数学的および論理的推論のベンチマークに関する大規模な実験は、GIFTが複数のモデルスケールで一貫して強いベースラインを上回り、難解な数学的推論タスクにおいて9.5倍の相対的なゲインを達成していることを示している。 コード:https://github.com/lilifree/GIFT

関連論文リスト

• One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts [52.62368406036621]
  reViTは、FFNを各繰り返し深さで、小さな共有専門家バンクの凸結合として表現することで、深さ固有の変換を復元する。 reViT-B/16では,約70%の保存パラメータでDeiT IIIの精度が得られた。
  論文  参考訳（メタデータ） (2026-10-08T17:58:36Z)
• ERR+: Sequential Entropy Resolution for Efficient and Decisive LLM Reasoning [13.033342249823022]
  大規模推論モデルのための2相RLVRフレームワークを提案する。 第1段階はエントロピー・リリーフ・リワード (ERR) で、累積トークンレベル・エントロピー・ドロップに比例するボーナスを思考フェーズで行う。 第2フェーズでは、ロバスト相対効率逆転(Robust Relative efficiency Reward)を導入し、それぞれが生成したピアに対してレスポンスの長さをスコアする。
  論文  参考訳（メタデータ） (2026-08-28T18:28:50Z)
• Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion [84.20493238687187]
  単純な模倣を超えて、より深い概念的理解を具現化する新しい枠組みを導入する。 underlinetextitFirst, to address pattern memorization, Explanatory Inversion (EI) generated target explanatory probes' underlinetextitSecondは、一般化を改善するために、Explainatory GRPO (texttEXGRPO) は、新しいダイアログ構造ユーティリティーボーナスを用いた強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2026-02-26T23:01:46Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• DistillLens: Symmetric Knowledge Distillation Through Logit Lens [6.545295906151773]
  学生モデルと教師モデルの進化的思考過程を対称的に整列するフレームワークであるDistillLensを紹介する。 我々の分析は、この制約が両面の罰を課し、過信と過信の両方を防いでいることを証明している。 GPT-2 と Llama アーキテクチャの実験では、DistillLens が標準 KD を一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-02-14T03:01:12Z)
• Boosting Maximum Entropy Reinforcement Learning via One-Step Flow Matching [8.665369041430969]
  Flow Matching(FM)はワンステップ生成を可能にするが、Entropy Reinforcement Learning(MaxEnt RL)に統合することは難しい。 我々はこれらの課題に対処する原則的フレームワークである textbfFlow ベースの textbfLog-likelihood-textbfAware textbfMaximum textbfEntropy RL (textbfFLAME) を提案する。
  論文  参考訳（メタデータ） (2026-02-02T03:54:11Z)
• On Geometric Structures for Policy Parameterization in Continuous Control [7.056222499095849]
  本稿では,単位多様体上での演算による構造的利点を保った,計算効率の良いアクション生成パラダイムを提案する。 本手法は,動作を決定論的方向ベクトルと学習可能な濃度に分解し,目標方向と一様雑音との効率性を実現する。 実証的に、我々の手法は標準的な連続制御ベンチマークで最先端の手法と一致するか超えている。
  論文  参考訳（メタデータ） (2025-11-11T13:32:38Z)
• FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation [6.5370850242187855]
  フェデレートラーニング(FL)は、分散データソースを使用したファンデーションモデル(FM)の微調整を容易にする。 Low-Rank Adaptation (LoRA) は通信コストの低さと高い性能で人気を博している。 既存の手法ではパラメータの切り離しとバイアス付き勾配更新による公式収束保証が欠如している。
  論文  参考訳（メタデータ） (2025-05-24T04:12:12Z)
• Two Trades is not Baffled: Condensing Graph via Crafting Rational Gradient Matching [50.30124426442228]
  大規模グラフの学習はグラフ表現学習において顕著な成果を上げてきたが、そのコストと記憶力の増大が懸念されている。 そこで我々は,textbfCraftextbfTing textbfRationatextbf (textbfCTRL) という新しいグラフ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-07T14:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。