論文の概要: Function-Space Temporal Self-Distillation for Policy Optimization
- arxiv url: http://arxiv.org/abs/2610.19687v1
- Date: Wed, 14 Oct 2026 07:10:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.998389
- Title: Function-Space Temporal Self-Distillation for Policy Optimization
- Title（参考訳）: 政策最適化のための関数空間時間自己蒸留
- Abstract要約: 機能空間政策最適化(FSPO)は,現在の特権適応と関数空間の時間的統合を組み合わせた単一政治フレームワークである。
FSPOは, 教師モデルを維持することなく, 時間的目標の固定化を図り, 時間的分離を図っている。
5時間のトレーニング予算の下では最高の平均精度を達成し、最強のベースラインを平均で約4%改善し、Olmo3-7B-Instructではピークメモリを約70GBから56GBに削減した。
- 参考スコア（独自算出の注目度）: 14.075051480473329
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) improves reasoning in language models, but scalar outcomes provide coarse supervision over response trajectories. Self-distillation offers denser token-level guidance by comparing an unassisted policy with a feedback-informed self-teacher, yet the teacher evolves with the student, creating unstable targets and motivating additional regularization. We introduce Function-Space Policy Optimization (FSPO), a single-policy framework that combines current privileged adaptation with function-space temporal consolidation. FSPO stores sparse historical next-token distributions as fixed temporal targets, providing temporal separation without maintaining a persistent teacher model. It further introduces privileged disagreement correction to explicitly suppress locally overvalued actions, reliability-adaptive grounding that strengthens reference supervision when self-generated evidence repeatedly fails, and quality and coverage-aware temporal memory that retains verified behaviors and improves privileged demonstrations. Across reasoning and tool-use benchmarks, FSPO achieves the highest average accuracy under a 5-hour training budget, improving over the strongest baseline by approximately 4% points on average while reducing peak memory from about 70 GB to 56 GB on Olmo3-7B-Instruct.
- Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR) は、言語モデルにおける推論を改善するが、スカラーの結果は応答軌跡に対する粗い監視を提供する。
自己蒸留は、教師が不安定な目標を作成し、追加の正規化を動機付けながら、無支援の方針をフィードバックインフォームド・セルフ教師と比較することによって、より密集したトークンレベルのガイダンスを提供する。
機能空間政策最適化(FSPO)は,現在の特権適応と関数空間の時間的統合を組み合わせた単一政治フレームワークである。
FSPOは, 教師モデルを維持することなく, 時間的目標として, 希少な歴史的次点分布を保存し, 時間的分離を実現する。
さらに、局所的に過大評価された行動を明示的に抑制するための特権的不一致補正、自己生成的証拠が繰り返し失敗する際の基準監督を強化する信頼性適応的根拠、検証された行動を維持し、特権化されたデモンストレーションを改善する品質とカバレッジに配慮した時間記憶を導入する。
FSPOは、推論とツール使用のベンチマーク全体で、トレーニング予算の5時間で最高の平均精度を達成し、最強のベースラインを平均で約4%改善し、Olmo3-7B-Instructではピークメモリを約70GBから56GBに削減した。
関連論文リスト
- Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。
HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文 参考訳（メタデータ） (2026-06-10T01:35:34Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z) - VISD: Enhancing Video Reasoning via Structured Self-Distillation [4.8876574457819855]
複雑な推論のためのビデオLLMの訓練は、レベルレベルの報酬の順序と、長期的、時間的基盤の推論軌道上のきめ細かいクレジット割り当ての欠如により、依然として困難である。
ビデオ推論のための診断に意味のある特権情報を導入した自己蒸留フレームワークであるVISDを提案する。
論文 参考訳（メタデータ） (2026-05-07T12:13:15Z) - Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization [18.027254451537342]
既存の自己蒸留法は、文脈拡張型教師モデルに向けた学習をKLマッチングに大きく還元する。
textbfPreference-textbfBased textbfSelf-textbfDistillation (textbfPBSD)を提案する。
論文 参考訳（メタデータ） (2026-05-06T15:31:50Z) - Self-Distilled RLVR [57.37526213765131]
特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。
textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。
これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
論文 参考訳（メタデータ） (2026-04-03T15:50:07Z) - Hindsight-Anchored Policy Optimization: Turning Failure into Feedback in Sparse Reward Settings [7.554296968064274]
検証リワード(RLVR)を用いた強化学習のための階層型ポリシー最適化(HAPO)を提案する。
HAPOは、障害時に教師のデモンストレーションに最適化を選択的にアンカーする、後ろ向きのメカニズムを採用している。
HAPOは,政策改善に伴う教師の信号のアニールを自然に行うことで,非バイアスのオン・ポリティクス勾配を回復する。
論文 参考訳（メタデータ） (2026-03-11T21:33:41Z) - Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。
本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。
提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
論文 参考訳（メタデータ） (2023-11-16T09:07:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。