論文の概要: Reason-guided Human Reward Modeling for Preference-based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.23550v1
• Date: Fri, 16 Oct 2026 14:41:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.957745
• Title: Reason-guided Human Reward Modeling for Preference-based Reinforcement Learning
• Title（参考訳）: 推論に基づく強化学習のための推論誘導型ヒューマン・リワードモデリング
• Abstract要約: 本稿では,理性指導による嗜好に基づく強化学習フレームワークを提案する。 好みラベルに加えて、なぜ振る舞いが好まれるかを説明する理由タグも組み込まれている。 学習された人間の報酬は、ポリシー最適化時の環境報酬と組み合わせられる。
• 参考スコア（独自算出の注目度）: 2.7351097848239814
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reinforcement learning (RL) policies optimized for task rewards may produce behaviors that are efficient but misaligned with human expectations, safety preferences, or intent. This paper presents a reason-guided preference-based reinforcement learning (PbRL) framework that learns a human reward model from trajectory-level feedback. In addition to preference labels, the framework incorporates reason tags explaining why a behavior is preferred, enabling the learned reward to capture both human choices and their underlying rationale. Compared with preference-only reward learning, the reason-guided formulation provides additional supervision for learning human-aligned rewards and improves the interpretability of the resulting policy. The learned human reward is combined with the environment reward during policy optimization, allowing the agent to improve task performance while producing more interpretable, human- aligned, and preference-sensitive behavior
• Abstract（参考訳）: タスク報酬に最適化された強化学習(RL)ポリシーは、効率的だが人間の期待や安全性の選好、意図と不一致な振る舞いを生み出す可能性がある。 本稿では,軌道レベルのフィードバックから人間報酬モデルを学習するPbRLフレームワークを提案する。 好みラベルに加えて、このフレームワークはなぜ行動が望ましいのかを説明する理性タグを組み込んでおり、学習された報酬が人間の選択と根底にある理性の両方を捉えることができる。 嗜好のみの報奨学習と比較して、理性指導による定式化は、人間による報奨を学習するための追加の監督を提供し、その結果のポリシーの解釈性を改善する。 学習された人間報酬は、政策最適化中の環境報酬と組み合わせられ、エージェントは、より解釈可能で、人間に適応し、嗜好に敏感な行動を生み出しながら、タスクパフォーマンスを向上させることができる。

関連論文リスト

• Pref-GUIDE: Continual Policy Learning from Real-Time Human Feedback via Preference-Based Learning [3.513501558121131]
  リアルタイムスカラーフィードバックを優先データに変換するフレームワークであるPref-GUIDEを提案する。 Pref-GUIDE 個人は、短いウィンドウ内でのエージェントの挙動を比較することで時間的不整合を緩和する。 Pref-GUIDE Votingは、ユーザの集団間で報酬モデルを集約し、コンセンサス優先を形成することにより、ロバスト性を高める。
  論文  参考訳（メタデータ） (2025-08-10T00:18:44Z)
• Hindsight PRIORs for Reward Learning from Human Preferences [3.4990427823966828]
  嗜好に基づく強化学習(PbRL)では、政策行動に対する嗜好フィードバックから報酬を学習することで報酬関数を手渡す必要がなくなる。 PbRLへの現在のアプローチは、行動のどの部分が優先に最も寄与しているかを決定することに固有の信用割当問題に対処しない。 我々は、世界モデルを用いて軌道内の状態重要度を近似し、報酬を国家重要度に比例するように誘導する信用割当戦略(Hindsight PRIOR)を導入する。
  論文  参考訳（メタデータ） (2024-04-12T21:59:42Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Reinforcement Learning from Diverse Human Preferences [68.4294547285359]
  本稿では,人選好ラベルをクラウドソーシングし,多様な嗜好から学習する手法を開発した。 提案手法はDMcontrolとMeta-worldの様々なタスクでテストされる。 多様なフィードバックから学ぶと、既存の好みベースのRLアルゴリズムよりも一貫性があり、大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-27T15:18:54Z)
• Models of human preference for learning reward functions [80.39289349661364]
  そこで我々は,一対の軌跡区間間の人為的嗜好から報酬関数を学習する。 この仮定に欠陥があることに気付き、各セグメントの後悔が示すように、人間の嗜好をモデル化することを提案する。 提案した後悔の選好モデルは、実際の人間の選好をより良く予測し、また、これらの選好から報酬関数を学習し、より人道的な政策へと導く。
  論文  参考訳（メタデータ） (2022-06-05T17:58:02Z)
• Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
  好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。 我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。 実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
  論文  参考訳（メタデータ） (2022-05-24T23:22:10Z)
• Causal Confusion and Reward Misidentification in Preference-Based Reward Learning [33.944367978407904]
  選好から学習する際の因果的混乱と報酬的誤認について検討した。 その結果,非因果的障害の特徴,優先条件のノイズ,部分的状態観察性の存在が,報酬の誤認を悪化させることが判明した。
  論文  参考訳（メタデータ） (2022-04-13T18:41:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。