論文の概要: SR-OPSD: Self-Referenced On-Policy Self-Distillation
- arxiv url: http://arxiv.org/abs/2608.09745v1
- Date: Mon, 10 Aug 2026 15:40:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.352371
- Title: SR-OPSD: Self-Referenced On-Policy Self-Distillation
- Title（参考訳）: SR-OPSD: 自己参照型オンデマンド自己蒸留
- Abstract要約: On-policy Self-distillation (OPSD) は、フィードバックを最適化されるポリシーによって生成されたトラジェクトリの密集したトークンレベルの監視に変換する。
各種環境における最先端・競争性能を実現するために,emphSelf-Referenced On-Policy Self-Distillation (SR-OPSD)を提案する。
- 参考スコア（独自算出の注目度）: 18.590739659841926
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy self-distillation (OPSD) converts feedback into dense token-level supervision on trajectories generated by the policy to be optimized, providing a useful complement to reinforcement learning with sparse outcome rewards. However, the self-teacher policy used in OPSD is typically a stop-gradient or exponential-moving-average copy of the policy conditioned on additional context information, and thus co-evolves with both the student policy and its on-policy context distribution. Directly matching such a moving target with a fixed projection objective can lead to unstable optimization or excessive distributional concentration. This nature of OPSD motivates the proposed \emph{Self-Referenced On-Policy Self-Distillation (SR-OPSD)}. At fixed student-generated contexts, a token-level variational characterization identifies the effective distillation target as a geometric interpolation between the self-teacher policy and a reference policy. Meanwhile, we use the Rényi divergence family to generalize the projection geometry. This formulation separates \emph{where} the adaptive target is placed from \emph{how} the student is projected toward it: the interpolation coefficient controls underlying target, while the Rényi order controls the projection geometry and its sensitivity to token-level density ratios. Extensive experiments across scientific evaluation, mathematical reasoning, and coding generation tasks with multiple large language models show that SR-OPSD achieves the state-of-the-art or competitive performance across various settings.
- Abstract（参考訳）: On-policy Self-distillation (OPSD) は、フィードバックを最適化するためのポリシーによって生成されたトラジェクトリの密集したトークンレベルの監視に変換する。
しかし、OPSDで使用される自習者政策は、通常、追加の文脈情報に基づいて条件付けられたポリシーの停止段階または指数関数的移動平均コピーであり、それによって学生政策と政治上の文脈分布の両方と共進化する。
このような移動目標を固定射影目標と直接一致させることで、不安定な最適化や過度な分布集中につながる可能性がある。
このOPSDの性質は、提案されたemph{Self-Referenced On-Policy Self-Distillation (SR-OPSD) を動機付けている。
固定された学生生成状況において,トークンレベルの変動特性は,有効蒸留目標を自己学習者ポリシーと参照ポリシーの幾何学的補間として識別する。
一方、射影幾何学を一般化するためにレニイ発散族を用いる。
この定式化は、適応的ターゲットを、学生が投影する \emph{how} から切り離し、補間係数が下層のターゲットを制御し、レナイ次数は射影幾何学とトークンレベルの密度比に対する感度を制御する。
複数の大きな言語モデルを用いた科学的評価、数学的推論、符号化生成タスクの広範な実験は、SR-OPSDが様々な設定で最先端または競争的な性能を達成することを示す。
関連論文リスト
- IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。
IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。
政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
論文 参考訳（メタデータ） (2026-08-11T08:20:02Z) - $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。
我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-07-30T17:41:16Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - Self-Distilled Policy Gradient [51.95967256628261]
都市の自己蒸留は、スパース・リワード強化学習のための密集した監督源として有望である。
SDPGは,グループ相対検証の利点と正規化標準偏差を組み合わせた,自己蒸留型政策段階のフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T02:31:13Z) - OISD: On-Policy Internal Self-Distillation of Language Models [20.760265566511183]
近年の強化学習手法は, 粗末な結果レベルの報酬を用いて, 最終出力政策を最適化している。
我々は,最終層から中間表現へ政治上の予測信号を転送することで推論を改善するOISDフレームワークを提案する。
OISDの有効性は,強い推理RLベースラインよりも大きく,一貫した改善がみられた。
論文 参考訳（メタデータ） (2026-05-27T20:43:10Z) - VSPO: Vector-Steered Policy Optimization for Behavioral Control [30.80095775190934]
本稿では,言語モデルに対するVector-Steered Policy Optimization (VSPO)を提案する。
VSPOは、ターゲットの振る舞いに関連するステアリングベクトルを使用して、生成されたロールアウトの挙動強度を制御する。
VSPOはタスクの正確性を維持したり改善したりしながら、目標行動に沿った制御を一貫して改善することを示す。
論文 参考訳（メタデータ） (2026-05-15T04:31:06Z) - Hindsight-Anchored Policy Optimization: Turning Failure into Feedback in Sparse Reward Settings [7.554296968064274]
検証リワード(RLVR)を用いた強化学習のための階層型ポリシー最適化(HAPO)を提案する。
HAPOは、障害時に教師のデモンストレーションに最適化を選択的にアンカーする、後ろ向きのメカニズムを採用している。
HAPOは,政策改善に伴う教師の信号のアニールを自然に行うことで,非バイアスのオン・ポリティクス勾配を回復する。
論文 参考訳（メタデータ） (2026-03-11T21:33:41Z) - Learning Policy Representations for Steerable Behavior Synthesis [80.4542176039074]
マルコフ決定プロセス(MDP)を前提として,テスト時の行動ステアリングを促進するために,さまざまなポリシーの表現を学習する。
これらの表現は、セットベースアーキテクチャを用いて、様々なポリシーに対して均一に近似できることを示す。
変動生成法を用いてスムーズな潜伏空間を導出し,さらにコントラスト学習により、潜伏距離が値関数の差と一致するように形成する。
論文 参考訳（メタデータ） (2026-01-29T21:52:06Z) - Salience-Invariant Consistent Policy Learning for Generalization in Visual Reinforcement Learning [12.9372563969007]
見えないシナリオにポリシーを一般化することは、視覚的強化学習において重要な課題である。
目に見えない環境では、不注意なピクセルがエージェントにタスク関連情報を含む表現を抽出させる可能性がある。
ゼロショット一般化のための効率的なフレームワークであるSalience-Invariant Consistent Policy Learningアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-02-12T12:00:16Z) - PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。
本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。
その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-08-03T18:03:44Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。