論文の概要: PHIRL: Aligning Learned Rewards with Task Progress for Inverse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.31855v1
• Date: Fri, 25 Sep 2026 18:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 05:15:46.497222
• Title: PHIRL: Aligning Learned Rewards with Task Progress for Inverse Reinforcement Learning
• Title（参考訳）: PHIRL:逆強化学習のためのタスクプログレッシブな学習報酬の調整
• Abstract要約: 実演とフィードバックを併用して頑健な報酬関数を学習するデータ効率のフレームワークであるPHIRLを提案する。 PHIRLは、逆強化学習を通じて、デモンストレーションから報酬関数を反復的に推論し、進歩注釈付きデモに対して学習した報酬を計算し、4次元にわたる進歩アノテーションと報酬を一致させる。 その結果、PHIRLはベースラインを著しく上回り、アノテートされたデモのわずか20%で環境復帰報酬とタスク成功を達成した。
• 参考スコア（独自算出の注目度）: 11.322681972165386
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Human demonstrations provide dense policy-level information but sometimes lack local precision. Human feedback presents accurate local critiques, but offers sparse evaluations rather than direct policy guidance. We propose Progress-Heuristicized Inverse Reinforcement Learning (PHIRL), a data-efficient framework that learns robust reward functions by jointly leveraging demonstrations and feedback. Specifically, we use progress, a feedback modality that describes cumulative task completion. PHIRL iteratively infers a reward function from demonstrations via inverse reinforcement learning, calculates the learned rewards over the progress-annotated demonstrations, and aligns the rewards with progress annotations over four dimensions. We evaluate PHIRL on real and simulated robot tasks, with additional exploration using a fine-tuned vision-language model to provide progress feedback. Results demonstrate that PHIRL significantly outperforms the baselines, achieving substantially higher environmental return rewards and task success with only twenty percent of demonstrations annotated. Analysis of reward-hacking scenarios demonstrates that PHIRL learned reward functions are reliable against exploitation.
• Abstract（参考訳）: 人間のデモは、密集した政策レベルの情報を提供するが、時には局所的な精度を欠く。 人間からのフィードバックは、正確な局所的批判を提示するが、直接的な政策ガイダンスではなく、まばらな評価を提供する。 実演とフィードバックを併用して頑健な報酬関数を学習するデータ効率のフレームワークであるPHIRLを提案する。 具体的には、累積的なタスク完了を記述するフィードバックモダリティであるプログレッシブを使用する。 PHIRLは、逆強化学習を通じて、デモンストレーションから報酬関数を反復的に推論し、進歩注釈付きデモに対して学習した報酬を計算し、4次元にわたる進歩アノテーションと報酬を一致させる。 実作業および模擬ロボット作業におけるPHIRLの評価を行い,より微調整された視覚言語モデルを用いて進捗フィードバックを提供する。 その結果、PHIRLはベースラインを著しく上回り、アノテートされたデモのわずか20%で環境復帰報酬とタスク成功を達成した。 報酬ハックシナリオの分析は、PHIRLが学習した報酬関数が悪用に対して信頼できることを示す。

関連論文リスト

• Dream2Reward: Transition-Alignment Reward Models from Positive Demonstrations for Robotic Manipulation [51.43645327777772]
  そこでDream2Rewardを紹介し,肯定的な実証から言語条件で成功した潜在遷移場を学習する。 観察結果が進行しているように見える場合でも、間違った方向、オーバーシューティング、停滞した動きを罰する。 オンラインとオフラインのポリシー学習全体において、同じフリーズ報酬モデルが報酬のハッキングを減らし、より強力な下流のパフォーマンスをサポートする。
  論文  参考訳（メタデータ） (2026-08-19T10:44:20Z)
• Retrospective Progress-Aware Self-Refinement for LLM Agent Training [55.2682415036601]
  ReProは、フォワード-then-reflectロールアウトパラダイムを通じてプログレスシグナルを自己生成するようにエージェントを訓練するフレームワークである。 ReProはQwenファミリーのパフォーマンスを高め、最大で12%の絶対的な成功率を得る。
  論文  参考訳（メタデータ） (2026-06-12T09:38:47Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• PROGRESSOR: A Perceptually Guided Reward Estimator with Self-Supervised Online Refinement [16.768912344111946]
  本稿では,タスクに依存しない報酬関数をビデオから学習するフレームワークであるProgESSORを提案する。 ProGRESSORは、ロボットが外部の監督なしに複雑な動作を学習できるようにする。
  論文  参考訳（メタデータ） (2024-11-26T04:17:51Z)
• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された多様な実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、30Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• Policy Optimization with Smooth Guidance Learned from State-Only Demonstrations [2.709826237514737]
  報酬フィードバックの幅は、オンラインの深層強化学習において依然として難しい問題である。 Smooth Guidance (POSG) を用いたポリシー最適化手法を提案する。 4つのスパース・リワード環境におけるPOSGの制御性能と収束速度の顕著な優位性を示す。
  論文  参考訳（メタデータ） (2023-12-30T07:41:45Z)
• Distance-rank Aware Sequential Reward Learning for Inverse Reinforcement Learning with Sub-optimal Demonstrations [25.536792010283566]
  逆強化学習(IRL)は、専門家による実験結果に基づいて、基礎となる報酬関数を明示的に推論することを目的としている。 本稿では,DRASRL(Distance-rank Aware Sequential Reward Learning)フレームワークを紹介する。 本フレームワークは,従来のSOTA手法よりも大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T02:38:35Z)
• Iterative Reward Shaping using Human Feedback for Correcting Reward Misspecification [15.453123084827089]
  ITERSは、人間のフィードバックを用いて、不特定報酬関数の効果を緩和する反復的な報酬形成手法である。 ITERSを3つの環境で評価し,不特定報酬関数の修正に成功していることを示す。
  論文  参考訳（メタデータ） (2023-08-30T11:45:40Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Residual Reinforcement Learning from Demonstrations [51.56457466788513]
  報酬信号の最大化のために,従来のフィードバックコントローラからの制御動作を適用することで,ロボット作業の課題を解決する手段として,残留強化学習(Residual reinforcement learning, RL)が提案されている。 視覚的インプットから学習するための残差定式化を拡張し,実演を用いて報酬をスパースする。 6-DoFのUR5アームと28-DoFのデキスタラスハンドのシミュレーション操作に関する実験的評価は、デモからの残留RLが、行動クローニングやRL微調整よりも柔軟に、見えない環境条件に一般化できることを実証している。
  論文  参考訳（メタデータ） (2021-06-15T11:16:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。