論文の概要: Admissible Policy Teaching through Reward Design

• arxiv url: http://arxiv.org/abs/2201.02185v1
• Date: Thu, 6 Jan 2022 18:49:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-07 14:21:19.719744
• Title: Admissible Policy Teaching through Reward Design
• Title（参考訳）: リワードデザインによる許容政策教育
• Authors: Kiarash Banihashem, Adish Singla, Jiarui Gan, Goran Radanovic
• Abstract要約: 我々は、強化学習エージェントに報酬設計戦略を奨励し、許容可能な政策の集合から政策を採用するための報酬設計戦略について研究する。 報酬設計者の目標は、新たな報酬関数の下でのほぼ最適な決定的ポリシーが許容可能であることを保証しつつ、その基礎となる報酬関数をコスト効率良く修正することである。
• 参考スコア（独自算出の注目度）: 32.39785256112934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study reward design strategies for incentivizing a reinforcement learning agent to adopt a policy from a set of admissible policies. The goal of the reward designer is to modify the underlying reward function cost-efficiently while ensuring that any approximately optimal deterministic policy under the new reward function is admissible and performs well under the original reward function. This problem can be viewed as a dual to the problem of optimal reward poisoning attacks: instead of forcing an agent to adopt a specific policy, the reward designer incentivizes an agent to avoid taking actions that are inadmissible in certain states. Perhaps surprisingly, and in contrast to the problem of optimal reward poisoning attacks, we first show that the reward design problem for admissible policy teaching is computationally challenging, and it is NP-hard to find an approximately optimal reward modification. We then proceed by formulating a surrogate problem whose optimal solution approximates the optimal solution to the reward design problem in our setting, but is more amenable to optimization techniques and analysis. For this surrogate problem, we present characterization results that provide bounds on the value of the optimal solution. Finally, we design a local search algorithm to solve the surrogate problem and showcase its utility using simulation-based experiments.
• Abstract（参考訳）: 我々は、強化学習エージェントに報酬設計戦略を適用し、許容可能な政策の集合から政策を採用する。 報酬デザイナーの目標は、新たな報酬機能の下でのほぼ最適な決定論的ポリシーが許容可能であり、元の報酬機能の下でうまく機能することを保証しつつ、基礎となる報酬機能を費用効率良く変更することである。 この問題は、エージェントに特定のポリシーを強制するのではなく、報酬デザイナーは、特定の状態において許容できない行動を取ることを避けるためにエージェントにインセンティブを与える。 おそらく驚くべきことに、最適報酬中毒攻撃問題とは対照的に、まず、許容可能な政策教育における報酬設計問題は計算的に困難であり、ほぼ最適報酬修正を見つけることはNPハードであることを示す。 次に,最適解が最適解を最適解に近似するサロゲート問題の定式化を進めるが,最適化手法や解析にはより適している。 このサロゲート問題に対して,最適解の値の境界を与える特性評価結果を示す。 最後に,サロゲート問題を解くために局所探索アルゴリズムを設計し,シミュレーションに基づく実験を用いてその有用性を示す。

関連論文リスト

• Informativeness of Reward Functions in Reinforcement Learning [34.40155383189179]
  本稿では,情報的報酬関数を設計することで,エージェントの収束を高速化する問題について検討する。 現存する作品では、いくつかの異なる報酬デザインの定式化が検討されている。 本稿では,エージェントの現在の方針に適応し,特定の構造制約の下で最適化できる報奨情報量基準を提案する。
  論文  参考訳（メタデータ） (2024-02-10T18:36:42Z)
• REBEL: A Regularization-Based Solution for Reward Overoptimization in Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数とユーザの意図、価値観、社会的規範の相違は、現実世界で破滅的なものになる可能性がある。 人間の嗜好から報酬関数を学習することで、このミスアライメント作業を軽減するための現在の方法。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Behavior Alignment via Reward Function Optimization [23.92721220310242]
  設計者のドメイン知識と環境のプライマリ報酬を反映した補助報酬を統合する新しいフレームワークを導入する。 提案手法の有効性を,小型実験から高次元制御課題に至るまで,様々な課題に対して評価する。
  論文  参考訳（メタデータ） (2023-10-29T13:45:07Z)
• Reward Learning as Doubly Nonparametric Bandits: Optimal Design and Scaling Laws [22.099915149343957]
  本稿では、報酬学習と関連する最適実験設計問題を研究するための理論的枠組みを提案する。 まず、リッジ回帰に基づく単純なプラグイン推定器の非漸近的過剰リスク境界を導出する。 次に、クエリセットの選択に関してこれらのリスク境界を最適化し、有限サンプル統計率を得ることにより、クエリ設計問題を解決する。
  論文  参考訳（メタデータ） (2023-02-23T22:07:33Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)
• Hindsight Reward Tweaking via Conditional Deep Reinforcement Learning [37.61951923445689]
  本稿では,最近空間における報酬関数の影響をモデル化するための,深層強化学習のための新しいパラダイムを提案する。 このアプローチの実現可能性を示し、複数の MuJoCo タスクによる政策パフォーマンス向上における潜在的応用の1つについて検討する。
  論文  参考訳（メタデータ） (2021-09-06T10:06:48Z)
• Policy Gradient Bayesian Robust Optimization for Imitation Learning [49.881386773269746]
  我々は、期待される性能とリスクのバランスをとるために、新しいポリシー勾配スタイルのロバスト最適化手法PG-BROILを導出する。 その結果,PG-BROILはリスクニュートラルからリスク・アバースまでの行動のファミリを創出できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-11T16:49:15Z)
• Outcome-Driven Reinforcement Learning via Variational Inference [95.82770132618862]
  我々は、報酬を最大化する問題ではなく、望ましい結果を達成するための行動を推測する問題として、強化学習に関する新たな視点について論じる。 結果として得られる結果指向推論の問題を解決するため, 定型的報酬関数を導出する新しい変分推論定式を制定する。 我々は,この手法が報酬機能の設計を不要とし,効果的なゴール指向行動へと導くことを実証的に示す。
  論文  参考訳（メタデータ） (2021-04-20T18:16:21Z)
• Learning to Utilize Shaping Rewards: A New Approach of Reward Shaping [71.214923471669]
  リワード整形は、ドメイン知識を強化学習(RL)に組み込む効果的な手法である 本稿では,所定の整形報酬関数を適応的に活用する問題を考察する。 スパース逆カートポールとMuJoCo環境の実験は、我々のアルゴリズムが有益な整形報酬を完全に活用できることを示している。
  論文  参考訳（メタデータ） (2020-11-05T05:34:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。