論文の概要: Hindsight-Anchored Policy Optimization: Turning Failure into Feedback in Sparse Reward Settings

• arxiv url: http://arxiv.org/abs/2603.11321v1
• Date: Wed, 11 Mar 2026 21:33:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.656776
• Title: Hindsight-Anchored Policy Optimization: Turning Failure into Feedback in Sparse Reward Settings
• Title（参考訳）: 後続アンコレッド政策最適化:失敗をスパースリワード設定のフィードバックに変える
• Authors: Yuning Wu, Ke Wang, Devin Chen, Kai Wei,
• Abstract要約: 検証リワード(RLVR)を用いた強化学習のための階層型ポリシー最適化(HAPO)を提案する。 HAPOは、障害時に教師のデモンストレーションに最適化を選択的にアンカーする、後ろ向きのメカニズムを採用している。 HAPOは,政策改善に伴う教師の信号のアニールを自然に行うことで,非バイアスのオン・ポリティクス勾配を回復する。
• 参考スコア（独自算出の注目度）: 7.554296968064274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a promising paradigm for post-training reasoning models. However, group-based methods such as Group Relative Policy Optimization (GRPO) face a critical dilemma in sparse-reward settings: pure Reinforcement Learning (RL) suffers from advantage collapse and high-variance gradient estimation, while mixed-policy optimization introduces persistent distributional bias. To resolve this dilemma, we introduce Hindsight-Anchored Policy Optimization (HAPO). HAPO employs the Synthetic Success Injection (SSI) operator, a hindsight mechanism that selectively anchors optimization to teacher demonstrations during failure. This injection is governed by a Thompson sampling-inspired gating mechanism, creating an autonomous, self-paced curriculum. Theoretically, we demonstrate that HAPO achieves \textit{asymptotic consistency}: by naturally annealing the teacher signal as the policy improves, HAPO recovers the unbiased on-policy gradient. This ensures off-policy guidance acts as a temporary scaffold rather than a persistent ceiling, enabling the model to surpass the limitations of static teacher forcing.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は、学習後推論モデルのための有望なパラダイムとして登場した。 しかし、グループ相対政策最適化(GRPO)のようなグループベースの手法は、スパース・リワード・セッティングにおいて重要なジレンマに直面している。 このジレンマを解決するために,Hendsight-Anchored Policy Optimization (HAPO)を導入する。 HAPOではSynthetic Success Injection (SSI)演算子を採用している。 この注入はトンプソンサンプリングにインスパイアされたゲーティング機構によって制御され、自律的で自己ペースのカリキュラムが作成される。 理論上は、HAPOが「textit{asymsymotic consistency}」を達成し、政策の改善に伴って教師の信号を自然にアニールすることで、HAPOは政治的にバイアスのない勾配を回復することを示した。 これにより、政治外のガイダンスは、永続的な天井ではなく一時的な足場として機能し、静的な教師強制の制限を超えることができる。

関連論文リスト

• Breaking the Curse of Repulsion: Optimistic Distributionally Robust Policy Optimization for Off-Policy Generative Recommendation [8.112649652437705]
  この解決策は、ノイズの多い行動方針に絡み合った潜伏した高品質な分布を厳格に特定することにあると我々は主張する。 このDRO目標に対してハードフィルタが正確な解であることを証明するため,DRPOは発散雑音を厳密に排除しつつ,高品質な動作を最適に回復することができる。
  論文  参考訳（メタデータ） (2026-02-11T02:18:27Z)
• Anchored Policy Optimization: Mitigating Exploration Collapse Via Support-Constrained Rectification [14.911955979675772]
  我々は,グローバルな形状マッチングからサポートカバレッジへパラダイムをシフトさせるアンコレッドポリシー最適化(APO)を提案する。 APOは精度と多様性のトレードオフを破り、Pass@1を大幅に改善します。
  論文  参考訳（メタデータ） (2026-02-05T14:41:57Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• KEPO: Knowledge-Enhanced Preference Optimization for Reinforcement Learning with Reasoning [24.072603982041798]
  強化学習は、大規模言語や視覚言語モデルにおいて、明示的な推論行動を引き起こすための有望なパラダイムとして登場した。 しかしながら、推論指向のRLポストトレーニングは、低軌道レベルの報酬のため、基本的には困難である。 近年のオンライン蒸留法では,教師の集中管理によって最適化の安定化が図られている。
  論文  参考訳（メタデータ） (2026-01-30T23:28:37Z)
• Q-learning with Adjoint Matching [58.78551025170267]
  本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。 QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。 オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-20T18:45:34Z)
• M-GRPO: Stabilizing Self-Supervised Reinforcement Learning for Large Language Models with Momentum-Anchored Policy Optimization [9.358876832727239]
  自己教師付き強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高めるための有望なアプローチを示す 従来の手法では,長期のトレーニングにおいて,パフォーマンスが急激に低下する「政治崩壊」という,致命的な障害モードに悩まされていることがわかった。 我々は、ゆっくりと進化する運動量モデルを利用して安定したトレーニングターゲットを提供するフレームワークであるM-GRPOを紹介する。 また,低エントロピートラジェクトリを動的に振る舞うIQR(Interquartile Range)に基づく適応フィルタリング手法を提案する。
  論文  参考訳（メタデータ） (2025-12-15T08:07:23Z)
• GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping [63.33669214116784]
  GRPO-Guardは、既存のGRPOフレームワークのシンプルで効果的な拡張である。 PPOクリッピングが有害な更新を適切に制限することを保証するため、バランスとステップ一貫性の重要度を回復する。 重いKL正則化に頼ることなく、暗黙の過最適化を実質的に緩和する。
  論文  参考訳（メタデータ） (2025-10-25T14:51:17Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• ACPO: Adaptive Curriculum Policy Optimization for Aligning Vision-Language Models in Complex Reasoning [17.928214942495412]
  ACPOは、安定的で、準政治的な探索段階から、効率的で、非政治的な搾取段階へ、原則的な移行を編成する動的カリキュラムを採用している。 我々は、MathVista、LogicVista、MMMU-Proなど、挑戦的なマルチモーダル推論ベンチマークのスイートで広範な実験を行う。 その結果,ACPOはDAPOやPAPOなどの強いベースラインを一貫して上回り,最先端性能,収束の促進,訓練安定性の向上を実現している。
  論文  参考訳（メタデータ） (2025-10-01T09:11:27Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。