論文の概要: MEReQ: Max-Ent Residual-Q Inverse RL for Sample-Efficient Alignment from Intervention

• arxiv url: http://arxiv.org/abs/2406.16258v2
• Date: Mon, 28 Oct 2024 19:17:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:37:30.202105
• Title: MEReQ: Max-Ent Residual-Q Inverse RL for Sample-Efficient Alignment from Intervention
• Title（参考訳）: MEReQ: インターベンションからのサンプル高能率アライメントのための最大値残差Q逆RL
• Authors: Yuxin Chen, Chen Tang, Chenran Li, Ran Tian, Wei Zhan, Peter Stone, Masayoshi Tomizuka,
• Abstract要約: 本稿では,人間の介入によるサンプル効率向上を目的としたMEReQ(Maximum-Entropy Residual-Q Inverse Reinforcement Learning)を紹介する。 MereQは、人間の専門家と以前の政策の根底にある報酬関数との相違を捉える残差報酬関数を推論する。 その後、Residual Q-Learning(RQL)を使用して、ポリシーをこの残留報酬関数を使用して人間の好みと整合させる。
• 参考スコア（独自算出の注目度）: 81.56607128684723
• License:
• Abstract: Aligning robot behavior with human preferences is crucial for deploying embodied AI agents in human-centered environments. A promising solution is interactive imitation learning from human intervention, where a human expert observes the policy's execution and provides interventions as feedback. However, existing methods often fail to utilize the prior policy efficiently to facilitate learning, thus hindering sample efficiency. In this work, we introduce MEReQ (Maximum-Entropy Residual-Q Inverse Reinforcement Learning), designed for sample-efficient alignment from human intervention. Instead of inferring the complete human behavior characteristics, MEReQ infers a residual reward function that captures the discrepancy between the human expert's and the prior policy's underlying reward functions. It then employs Residual Q-Learning (RQL) to align the policy with human preferences using this residual reward function. Extensive evaluations on simulated and real-world tasks demonstrate that MEReQ achieves sample-efficient policy alignment from human intervention.
• Abstract（参考訳）: 人間の好みでロボットの振る舞いを調整することは、人間中心の環境にエンボディされたAIエージェントを配置するために重要である。 有望な解決策は、人間の介入からインタラクティブな模倣学習であり、人間の専門家が政策の実行を観察し、フィードバックとして介入を提供する。 しかし、既存の手法では学習を容易にするために事前の方針を効果的に活用することができず、サンプルの効率を損なうことも多い。 本研究では,人間の介入によるサンプル効率向上を目的としたMEReQ(Maximum-Entropy Residual-Q Inverse Reinforcement Learning)を提案する。 完全な人間の行動特性を推測する代わりに、MEReQは、人間の専門家と以前の政策の根底にある報酬機能との相違を捉える残留報酬関数を推論する。 その後、Residual Q-Learning(RQL)を使用して、ポリシーをこの残留報酬関数を使用して人間の好みと整合させる。 シミュレーションおよび実世界のタスクに対する広範囲な評価は、MEReQが人間の介入からサンプル効率の高いポリシーアライメントを達成することを示す。

関連論文リスト

• Offline Risk-sensitive RL with Partial Observability to Enhance Performance in Human-Robot Teaming [1.3980986259786223]
  本稿では,モデルの不確実性を取り入れ,リスクに敏感なシーケンシャルな意思決定を可能にする手法を提案する。 シミュレーションロボット遠隔操作環境において,26名の被験者を対象に実験を行った。
  論文  参考訳（メタデータ） (2024-02-08T14:27:34Z)
• REBEL: A Regularization-Based Solution for Reward Overoptimization in Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数とユーザの意図、価値観、社会的規範の相違は、現実世界で破滅的なものになる可能性がある。 人間の嗜好から報酬関数を学習することで、このミスアライメント作業を軽減するための現在の方法。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Contrastive Preference Learning: Learning from Human Feedback without RL [71.77024922527642]
  本稿では、報酬関数を学習せずに好みから最適なポリシーを学習するアルゴリズムであるContrastive Preference Learning (CPL)を紹介する。 CPLは完全に非政治的であり、単純なコントラスト目的のみを使用し、任意のMDPに適用できる。
  論文  参考訳（メタデータ） (2023-10-20T16:37:56Z)
• Provable Benefits of Policy Learning from Human Preferences in Contextual Bandit Problems [82.92678837778358]
  嗜好に基づく手法は、InstructGPTのような経験的応用でかなりの成功を収めている。 フィードバックモデリングにおける人間のバイアスと不確実性がこれらのアプローチの理論的保証にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2023-07-24T17:50:24Z)
• Reinforcement Learning with Human Feedback: Learning Dynamic Choices via Pessimism [91.52263068880484]
  人間のフィードバックを用いたオフライン強化学習(RLHF)について検討する。 我々は、人間の選択によって引き起こされる一連の軌道から、人間の根底にある報酬とMDPの最適政策を学習することを目指している。 RLHFは、大きな状態空間だが人間のフィードバックが限られていること、人間の決定の有界な合理性、政治外の分散シフトなど、さまざまな理由から挑戦されている。
  論文  参考訳（メタデータ） (2023-05-29T01:18:39Z)
• Deep RL with Hierarchical Action Exploration for Dialogue Generation [0.0]
  本稿では,対話ポリシーの性能がサンプリングサイズと正の相関関係にあることを示す理論的解析と実験について述べる。 サンプリングプロセスにおいて最も有望な応答カテゴリを探索する新しい二重粒度Q関数を導入する。 提案アルゴリズムは, 説明可能性と制御性の両方を示し, 期待値の高い応答を生成する。
  論文  参考訳（メタデータ） (2023-03-22T09:29:22Z)
• Learning Human Rewards by Inferring Their Latent Intelligence Levels in Multi-Agent Games: A Theory-of-Mind Approach with Application to Driving Data [18.750834997334664]
  我々は、人間は有理論的であり、他人の意思決定過程を推論する際に異なる知能レベルを持っていると論じる。 学習中の人間の潜在知能レベルを推論する,新しいマルチエージェント逆強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-07T07:48:31Z)
• Weak Human Preference Supervision For Deep Reinforcement Learning [48.03929962249475]
  人間の好みによる現在の報酬学習は、報酬関数にアクセスせずに複雑な強化学習(RL)タスクを解決するために使用できる。 そこで我々は,人間の嗜好スケーリングモデルを開発した,弱い人間の嗜好監視フレームワークを提案する。 提案手法では,環境との相互作用の 0.01% 未満の人的フィードバックしか必要としない。
  論文  参考訳（メタデータ） (2020-07-25T10:37:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。