論文の概要: PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.36642v1
• Date: Tue, 29 Sep 2026 03:46:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.164619
• Title: PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning
• Title（参考訳）: PR-OPD:Privileged Representation on-policy Self-Distillation for Agentic Reinforcement Learning
• Abstract要約: プリビリード表現オン政治自己蒸留(PR-OPD)を提案する。 PR-OPDは、各軌跡に対する後見スキルを書き、そのスキルを停止段階の教師として、自身の応答を再読し、その隠れた状態を、報酬目的に沿ったすべての階層の教師のものと整合させる。 ALFWorldとWebShopには2つのバックボーンがある。
• 参考スコア（独自算出の注目度）: 15.701641295904054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language-model agents are usually trained by reinforcement learning from one reward per episode, and privileged self-distillation enriches it by letting the same policy, given a skill, teach its skill-free self through token probabilities. However, we identify two phenomena that question this channel. Invisible Advantage: a skill in context lifts WebShop success from 42.2% to 56.2%, yet changes the probabilities of fewer than a quarter of the sampled tokens. Much to Align: a skill changes the hidden states of over 80% of response tokens, in a way that linear probes can trace back to the specific skill. To exploit this, we propose Privileged Representation On-policy Self-Distillation (PR-OPD). After a GRPO warm start, the policy writes a hindsight skill for each trajectory, re-reads its own responses with that skill as a stop-gradient teacher, and aligns its projected hidden states to the teacher's at every layer alongside the reward objective, with no external skill library, separate teacher, or inference overhead. On ALFWorld and WebShop with two backbones, PR-OPD achieves the best overall results in every setting, improving over GRPO by up to 4.7 points in ALFWorld success and 14.0 points in WebShop accuracy. Code is available at https://github.com/balibata/PR-OPD.
• Abstract（参考訳）: 言語モデルエージェントは通常、エピソードごとに1つの報酬から強化学習によって訓練され、特権付き自己蒸留は、スキルを与えられた同じ方針で、トークンの確率を通じてスキルのない自己を教えることで、それを豊かにする。 しかし、この経路に疑問を呈する2つの現象を同定する。 Invisible Advantage: コンテキストにおけるスキルは、WebShopの成功を42.2%から56.2%に引き上げるが、サンプルトークンの4分の1未満の確率を変える。 スキルは、リニアプローブが特定のスキルに遡ることができる方法で、80%以上の応答トークンの隠された状態を変更します。 そこで我々はPR-OPD(Privleged Representation On-policy Self-Distillation)を提案する。 GRPOのウォームスタートの後、ポリシーは各コースに対する後見スキルを書き、停止段階の教師としてそのスキルと自身の反応を再読し、その予測された隠れた状態を、報酬目標に沿った各レイヤの教師のものと整合させ、外部スキルライブラリ、個別の教師、推論オーバーヘッドを伴わない。 ALFWorldとWebShopには2つのバックボーンがあるが、PR-OPDはすべての設定で最高の総合的な結果を達成し、ALFWorldの成功で最大4.7ポイント、WebShopの正確さで14.0ポイント改善している。 コードはhttps://github.com/balibata/PR-OPD.comで入手できる。

関連論文リスト

• Graph-Conditioned On-Policy Agent Distillation from Off-the-Shelf Teachers [36.72804395570285]
  オンライン蒸留(OPD)は、生徒が生み出す軌跡に対する教師のフィードバックで、コンパクトな言語エージェントを訓練する。 教師の採点状況と実行証拠を充実させるGC-OPD(Graph-Conditioned On-Policy Agent Distillation)を導入する。 GC-OPDは、現在の参照や過去の代替品を取得し、学生の視線と組み合わせて、オリジナルの思考アクショントークンをスコアする。
  論文  参考訳（メタデータ） (2026-09-29T13:12:44Z)
• SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation [24.836022752759035]
  検証可能な報酬付き強化学習(RLVR)は,様々なタスクにおいて大規模言語モデル(LLM)を改善するための標準パラダイムとなっている。 我々は,自己指導型政策最適化(SIPO)と対照的な自己指導型政策最適化(SIPO)を提案する。
  論文  参考訳（メタデータ） (2026-09-29T05:15:41Z)
• RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning [30.454055967946047]
  まず,環境に配慮したスキル条件の教師を最適化し,RLとOPDを併用してスキルフリーの生徒を訓練するRetireOPD(Self-Retiring On-Policy Distillation)を提案する。 1.5Bから7BまでのQwen2.5モデル全体で、RetireOPDはRLベースラインよりもALFWorldの成功率を14.1%から18.8%、WebShopの精度を11.8%から19.0%改善した。
  論文  参考訳（メタデータ） (2026-09-17T17:52:08Z)
• Self-Supervised Visual On-Policy Distillation [63.83705343579541]
  視覚的オンライン蒸留は情報的教師-学生非対称性に大きく依存する。 S$2$VOPD(Self-Supervised Visual On-Policy Distillation)を紹介する。 S$2$VOPDは、オリジナルのイメージに条件付けられた教師の分布を、同じイメージの強く強化されたビューで条件付けられた学生の分布に蒸留する。
  論文  参考訳（メタデータ） (2026-08-14T09:52:01Z)
• Latent On-Policy Self-Distillation [55.57800223145407]
  On-policy Self-distillation (OPSD) は、特権的な自己教育者を用いて、生徒自身の軌跡を集中的に管理することにより、効果的な経路を提供する。 既存の方法はまだデザイナーが指定した特権的アーティファクトに大きく依存している。 本稿では,教師の特権的文脈自体を経験から学習可能なエンド・ツー・エンドにするため,LOPD(Latent On-Policy Self-Distillation)を導入する。
  論文  参考訳（メタデータ） (2026-08-13T10:05:51Z)
• Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning [72.09826781730662]
  ロングホライゾン推論は、モデルが推論チェーン内の異なるスキルを切り替えることを要求する。 スキル・エントロピー(Skill Entropy)とは、あるスキルから別のスキルに切り替えることの難しさを測る尺度である。 本稿では,RLフレームワークであるSkill-Entropy RLを提案する。
  論文  参考訳（メタデータ） (2026-08-05T17:57:16Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• UCOB: Learning to Utilize and Evolve Agentic Skills via Credit-Aware On-Policy Bidirectional Self-Distillation [34.96538778716135]
  UCOBは、クレジット・アウェア・オン・ポリティクスの双方向自己蒸留によるエージェントスキルの活用と進化を学習するためのフレームワークである。 UCOBは、スキル条件付きプロンプトと非スキルプロンプトを、同じモデルの2つのオンラインコンテキストビューとして扱う。 便利なスキル条件の動作を内部化し、誤解を招くスキルの使用を訂正し、タスク/状態スキルのメモリ更新をガイドする。
  論文  参考訳（メタデータ） (2026-06-28T17:02:18Z)
• Not All Skills Help: Measuring and Repairing Agent Knowledge [47.498075849595374]
  ASSAYは、生成をキュレーションから分離するフレームワークである。 スキルごとの因果属性を小さな開発セットで計算する。 ライブラリをオフラインで再構築し、各テストタスクに対して負の効果でスキルを抑圧する。
  論文  参考訳（メタデータ） (2026-06-13T16:37:38Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。