論文の概要: Learning Soft Constraints From Constrained Expert Demonstrations

• arxiv url: http://arxiv.org/abs/2206.01311v1
• Date: Thu, 2 Jun 2022 21:45:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 06:04:19.401021
• Title: Learning Soft Constraints From Constrained Expert Demonstrations
• Title（参考訳）: 制約のある専門家によるソフト制約の学習
• Authors: Ashish Gaurav, Kasra Rezaee, Guiliang Liu, Pascal Poupart
• Abstract要約: 逆強化学習(IRL)法は、専門家データが報酬関数を最適化するエージェントによって生成されると仮定する。 報酬関数が与えられる場所や制約が不明な場所について検討する。 本稿では,これらの制約を専門家データから良好に回復できる手法を提案する。
• 参考スコア（独自算出の注目度）: 16.442694252601452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inverse reinforcement learning (IRL) methods assume that the expert data is generated by an agent optimizing some reward function. However, in many settings, the agent may optimize a reward function subject to some constraints, where the constraints induce behaviors that may be otherwise difficult to express with just a reward function. We consider the setting where the reward function is given, and the constraints are unknown, and propose a method that is able to recover these constraints satisfactorily from the expert data. While previous work has focused on recovering hard constraints, our method can recover cumulative soft constraints that the agent satisfies on average per episode. In IRL fashion, our method solves this problem by adjusting the constraint function iteratively through a constrained optimization procedure, until the agent behavior matches the expert behavior. Despite the simplicity of the formulation, our method is able to obtain good results. We demonstrate our approach on synthetic environments and real world highway driving data.
• Abstract（参考訳）: 逆強化学習(IRL)法は、専門家データが報酬関数を最適化するエージェントによって生成されると仮定する。 しかし、多くの設定では、エージェントはいくつかの制約を受ける報酬関数を最適化することができ、そこでは制約は、単に報酬関数で表現するのが難しい振る舞いを誘導する。 我々は,報酬関数が与えられ,制約が不明な設定を考えるとともに,これらの制約を専門家データから適切に回収できる手法を提案する。 これまでの研究は厳しい制約の回復に重点を置いていたが,本手法はエージェントが各エピソード平均で満足する累積ソフト制約を回復することができる。 IRL方式では,エージェントの動作が専門家の行動と一致するまで,制約関数を制約付き最適化手順によって反復的に調整することで,この問題を解決する。 定式化の単純さにもかかわらず,本手法は良好な結果が得られる。 我々は、合成環境と実世界高速道路運転データに対するアプローチを実証する。

関連論文リスト

• Exterior Penalty Policy Optimization with Penalty Metric Network under Constraints [52.37099916582462]
  制約強化学習(CRL:Constrained Reinforcement Learning)では、エージェントが制約を満たしながら最適なポリシーを学習するために環境を探索する。 我々は,刑罰科目ネットワーク(PMN)が生み出す適応的な罰則を持つ,理論的に保証された刑罰関数法(Exterior Penalty Policy Optimization (EPO))を提案する。 PMNは様々な制約違反に適切に対応し、効率的な制約満足度と安全な探索を可能にする。
  論文  参考訳（メタデータ） (2024-07-22T10:57:32Z)
• Resilient Constrained Reinforcement Learning [87.4374430686956]
  本稿では,複数の制約仕様を事前に特定しない制約付き強化学習(RL)のクラスについて検討する。 報酬訓練目標と制約満足度との間に不明確なトレードオフがあるため、適切な制約仕様を特定することは困難である。 我々は、ポリシーと制約仕様を一緒に検索する新しい制約付きRLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-28T18:28:23Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Interactively Learning Preference Constraints in Linear Bandits [100.78514640066565]
  我々は、既知の報酬と未知の制約で逐次意思決定を研究する。 応用として,運転シミュレーションにおいて,人間の嗜好を表現するための学習制約を検討する。
  論文  参考訳（メタデータ） (2022-06-10T17:52:58Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)
• Regularized Inverse Reinforcement Learning [49.78352058771138]
  逆強化学習(IRL)は、学習者が専門家の行動を模倣する能力を促進することを目的としている。 正規化IRLは学習者のポリシーに強い凸正則化を施す。 正規化IRLのためのトラクタブルソリューションとそれを得るための実用的な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T23:38:47Z)
• Constrained Markov Decision Processes via Backward Value Functions [43.649330976089004]
  制約付きマルコフ決定プロセスとして,制約付き学習の問題をモデル化する。 我々のアプローチの重要な貢献は、累積的なコスト制約を状態ベースの制約に変換することである。 我々は、エージェントが訓練の過程で安全を確保しながら収束する理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-08-26T20:56:16Z)
• Constrained Reinforcement Learning for Dynamic Optimization under Uncertainty [1.5797349391370117]
  動的リアルタイム最適化(DRTO)は、最適動作条件をリアルタイムに計算する必要があるという事実から難しい課題である。 DRTOの産業応用における主要なボトルネックは、不確実性の存在である。 これらの課題に対応するために,制約付き強化学習(RL)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-04T10:17:35Z)
• Deep Constrained Q-learning [15.582910645906145]
  多くの実世界の応用において、強化学習エージェントは特定の規則に従うか制約を満たすことなく、複数の目的を最適化する必要がある。 制約付きMDPの最適Q関数とそれに対応する安全ポリシーを学習するために,Q更新時の行動空間を直接制限する新しい非政治的強化学習フレームワークであるConstrained Q-learningを提案する。
  論文  参考訳（メタデータ） (2020-03-20T17:26:03Z)
• Teaching the Old Dog New Tricks: Supervised Learning with Constraints [18.88930622054883]
  機械学習に制約サポートを追加することは、データ駆動型AIシステムにおいて際立った問題に対処する可能性がある。 既存のアプローチでは、MLトレーニングに制約付き最適化手法を適用し、モデル設計を調整することによって制約満足度を強制するか、あるいは出力を修正するために制約を使用するのが一般的である。 そこで本研究では,教師付きML手法に対する制約満足度を,最先端制約解決器の直接利用により,それぞれ異なる,補完的な制約満足度に基づく戦略について検討する。
  論文  参考訳（メタデータ） (2020-02-25T09:47:39Z)
• First Order Constrained Optimization in Policy Space [19.00289722198614]
  政策空間における一階制約最適化(FOCOPS)という新しい手法を提案する。 FOCOPSは、エージェントの全体的な報酬を最大化し、エージェントが一連のコスト制約を満たすことを保証します。 我々は,ロボット機関車の一連の作業において,簡単なアプローチがより良い性能を達成するという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2020-02-16T05:07:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。