論文の概要: HiRE: Hindsight Reward Editing for Policy Finetuning

• arxiv url: http://arxiv.org/abs/2609.27068v1
• Date: Tue, 22 Sep 2026 21:04:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.773251
• Title: HiRE: Hindsight Reward Editing for Policy Finetuning
• Title（参考訳）: ヘイリー氏:政策ファインタニングのリワード編集を続行-関係者
• Abstract要約: Hindsight Reward Editing (HiRE)は、この報酬ボトルネックを克服するためのトレーニング不要のフレームワークである。 HiREは、密集したコントロール対応のフィードバックを提供することで、他の報酬レシピを一貫して上回る。
• 参考スコア（独自算出の注目度）: 11.312874142320021
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pre-trained robot policies always require finetuning to adapt to specific environments. Reinforcement Learning (RL) offers high performance potential because it improves action optimality rather than simply mimicking data. However, such potential depends heavily on reward quality. Sparse rewards lack process feedback, human-designed rewards are costly and biased, and semantic rewards from foundation representations are often not control-centric. We propose Hindsight Reward Editing (HiRE), a training-free framework to break this reward bottleneck. HiRE bridges the broad knowledge of foundation representation models with physical control awareness, by contrasting successful and failed trajectories in hindsight. It calibrates foundation representation models by identifying "trap states" that are predicted as high-rewarding states yet eventually result in failure, and vice versa. HiRE explicitly penalizes these traps while boosting rewards for critical successful states. This approach can be flexibly compatible with any foundation representations and RL algorithms. Experiments show that HiRE consistently outperforms other reward recipes by delivering dense, control-aware feedback that prevents value function collapse and reward hacking, thereby achieving superior sample efficiency, stable policy updates, and higher performance ceilings, e.g., at least 3x performance of the base policies. Qualitative results are at https://hire-project.github.io .
• Abstract（参考訳）: 事前訓練されたロボットポリシーは、常に特定の環境に適応するために微調整を必要とする。 強化学習(RL)は、単にデータを模倣するのではなく、行動の最適性を改善するため、高いパフォーマンスを提供する。 しかし、その可能性は報酬の質に大きく依存する。 スパース報酬はプロセスのフィードバックを欠き、人間設計の報酬はコストが高く偏りがあり、基礎表現からのセマンティック報酬は制御中心ではないことが多い。 我々は、この報酬ボトルネックを克服するためのトレーニング不要のフレームワーク、Hindsight Reward Editing (HiRE)を提案する。 HiREは、後方視における成功と失敗の軌跡を対比することにより、基礎表現モデルの幅広い知識と物理的制御意識を橋渡しする。 これは、高遅延状態として予測されるが最終的に失敗する「トラップ状態」を識別し、基礎表現モデルを校正する。 HiREはこれらのトラップを明示的に罰し、重要な成功状態に対する報酬を高める。 このアプローチは、任意の基礎表現やRLアルゴリズムと柔軟に互換性がある。 実験によると、HiREは、価値関数の崩壊や報酬のハッキングを防止し、より優れたサンプル効率、安定したポリシー更新、高いパフォーマンス天井、例えば、最低でも3倍のパフォーマンスを実現する、密集した制御対応のフィードバックを提供することによって、他の報酬レシピを一貫して上回っている。 質的な結果はhttps://hire-project.github.io にある。

関連論文リスト

• Multimodal Reward Hacking in Reinforcement Learning [25.776239829876065]
  強化学習(RL)は多モーダル大言語モデル(MLLM)の整合化に益々用いられている。 安全VQA,チャートVQA,ストレステスト設定のMLLM RLにおける報酬ハッキングについて検討した。 本稿では,代行報酬が向上するサンプル間の障害を測定するNRFR(Newly Rewarded Failure Rate)を紹介する。
  論文  参考訳（メタデータ） (2026-07-10T15:06:48Z)
• Designing Reward Signals for Portable Query Generation: A Case Study in Industrial Semantic Job Search [8.82040111147814]
  本稿では,Emphportable Search クエリを生成するために,エンドツーエンドの RLAIF フレームワークを提案する。 このタスクは、ポリシー最適化がルーリックの欠陥を活用し、冗長なコピー動作をもたらす、非常に敵対的な報酬曲面を導入する。 提案手法では,提案手法の誤りを再現する報酬を補正するルールベースの報酬フロアを導入することで,家族間評価審査員に+0.147ドルの品質改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-06-25T17:09:12Z)
• When Do Intrinsic Rewards Work for Code Reasoning? A Comprehensive Study [77.64957118012423]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデル推論において大きな進歩をもたらした。 最近の研究は、多数決や信頼に基づくスコアなど、モデル自身の信号から報酬を導き出すことによって、この問題に対処している。 本稿では,コード生成における本質的な報酬手法の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-06-18T19:15:50Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• RewardFlow: Topology-Aware Reward Propagation on State Graphs for Agentic RL with Large Language Models [51.06489124968176]
  RewardFlowはエージェント推論タスクに適した状態レベルの報酬を推定するための軽量な方法である。 RewardFlowは4つのエージェント推論ベンチマークで、以前のRLベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-03-19T13:07:12Z)
• Residual Reward Models for Preference-based Reinforcement Learning [11.797520525358564]
  優先度に基づく強化学習(PbRL)は、報酬信号の特定が難しい環境で、高性能なポリシーを学習する方法を提供する。 PbRLは報酬モデルでのトレーニングを必要とするため、収束速度が遅い。 本稿では,Residual Reward Model (RRM) を用いた事前知識の有効活用手法を提案する。
  論文  参考訳（メタデータ） (2025-07-01T09:43:57Z)
• ReDit: Reward Dithering for Improved LLM Policy Optimization [14.234865577185156]
  DeepSeek-R1は、ルールベースの報酬システムを通じて、LLM(Large Language Model)推論機能の拡張に成功した。 報酬のハッキングを効果的に軽減する「完璧な」報酬システムであるが、そのような報酬機能はしばしば離散的である。 本稿では、単純なランダムノイズを加えることで離散的な報酬信号をディザリングするReDit(Reward Dithering)を提案する。
  論文  参考訳（メタデータ） (2025-06-23T13:36:24Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。