論文の概要: Non-maximizing policies that fulfill multi-criterion aspirations in expectation

• arxiv url: http://arxiv.org/abs/2408.04385v1
• Date: Thu, 8 Aug 2024 11:41:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 15:48:23.185230
• Title: Non-maximizing policies that fulfill multi-criterion aspirations in expectation
• Title（参考訳）: 期待する多条件の願望を満たす非最大化政策
• Authors: Simon Dima, Simon Fischer, Jobst Heitzig, Joss Oliver,
• Abstract要約: 動的プログラミングおよび強化学習において、エージェントの逐次決定のためのポリシーは通常、目標をスカラー報酬関数として表現することによって決定される。 複数の異なる評価指標を持つ有限非巡回決定マルコフプロセスを考えるが、これは必ずしもユーザが最大化したい量を表すものではない。 提案アルゴリズムは,本課題を簡易性を用いて実現可能集合を近似し,その実現可能性を維持しつつ,前もって願望を伝達することによって達成することを保証する。
• 参考スコア（独自算出の注目度）: 0.7874708385247353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In dynamic programming and reinforcement learning, the policy for the sequential decision making of an agent in a stochastic environment is usually determined by expressing the goal as a scalar reward function and seeking a policy that maximizes the expected total reward. However, many goals that humans care about naturally concern multiple aspects of the world, and it may not be obvious how to condense those into a single reward function. Furthermore, maximization suffers from specification gaming, where the obtained policy achieves a high expected total reward in an unintended way, often taking extreme or nonsensical actions. Here we consider finite acyclic Markov Decision Processes with multiple distinct evaluation metrics, which do not necessarily represent quantities that the user wants to be maximized. We assume the task of the agent is to ensure that the vector of expected totals of the evaluation metrics falls into some given convex set, called the aspiration set. Our algorithm guarantees that this task is fulfilled by using simplices to approximate feasibility sets and propagate aspirations forward while ensuring they remain feasible. It has complexity linear in the number of possible state-action-successor triples and polynomial in the number of evaluation metrics. Moreover, the explicitly non-maximizing nature of the chosen policy and goals yields additional degrees of freedom, which can be used to apply heuristic safety criteria to the choice of actions. We discuss several such safety criteria that aim to steer the agent towards more conservative behavior.
• Abstract（参考訳）: 動的プログラミングおよび強化学習において、確率的環境におけるエージェントの逐次決定のためのポリシーは、通常、目標をスカラー報酬関数として表現し、期待される総報酬を最大化するポリシーを求めることで決定される。 しかしながら、人間が関心を持つ多くのゴールは、自然に世界の複数の側面に関係しており、それらを単一の報酬関数に凝縮する方法は明確ではないかもしれない。 さらに、最大化は仕様ゲームに苦しめられ、得られたポリシーは意図しない方法で高い期待された総報酬を達成し、しばしば極端なまたは非感覚的な行動を取る。 ここでは,複数の異なる評価指標を持つ有限非巡回マルコフ決定過程について考察する。 エージェントのタスクは、評価指標の期待総数のベクトルが、吸引集合と呼ばれる特定の凸集合に該当することを保証することであると仮定する。 提案アルゴリズムは,本課題を簡易性を用いて実現可能集合を近似し,その実現可能性を維持しつつ,前もって願望を伝達することによって達成することを保証する。 状態-作用-成功三重項の数には複雑性が線形であり、評価指標の数には多項式がある。 さらに、選択された政策と目標を明示的に最大化しない性質は、さらなる自由度をもたらし、行動の選択にヒューリスティックな安全基準を適用するのに使用できる。 我々は,より保守的な行動に向けたエージェントの操縦を目的とした,そのような安全基準について論じる。

関連論文リスト

• Multi-Objective Recommendation via Multivariate Policy Learning [10.494676556696213]
  現実世界のレコメンデーションシステムは、ユーザに提示するレコメンデーションを決定する際に、複数の目的のバランスを取る必要があることが多い。 これには行動信号(クリック、共有、居住時間など)や、より広い目的(多様性、公平性など)が含まれる。
  論文  参考訳（メタデータ） (2024-05-03T14:44:04Z)
• On the Expressivity of Multidimensional Markov Reward [0.6853165736531939]
  我々は,不確実性の下での逐次意思決定におけるマルコフ報酬の表現性について考察する。 我々は、すべての非退化決定論的ポリシーに対して、多次元マルコフ報酬関数が存在することを示した。
  論文  参考訳（メタデータ） (2023-07-22T23:17:44Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Quantile Off-Policy Evaluation via Deep Conditional Generative Learning [21.448553360543478]
  Off-Policy Evaluation (OPE) は、潜在的に異なる行動ポリシーによって生成されたオフラインデータを用いて、新しいターゲットポリシーを評価することに関心がある。 本稿では、逐次決定における量子OPEの2倍のロス率推論手順を提案する。 本提案手法の利点は,シミュレーションと,ショートビデオプラットフォームによる実世界のデータセットの両方を用いて示す。
  論文  参考訳（メタデータ） (2022-12-29T22:01:43Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)
• Policy Gradient Bayesian Robust Optimization for Imitation Learning [49.881386773269746]
  我々は、期待される性能とリスクのバランスをとるために、新しいポリシー勾配スタイルのロバスト最適化手法PG-BROILを導出する。 その結果,PG-BROILはリスクニュートラルからリスク・アバースまでの行動のファミリを創出できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-11T16:49:15Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Verifiable Planning in Expected Reward Multichain MDPs [20.456052208569115]
  エージェントの意思決定方針を導出する定常計画問題について検討する。 提案プログラムに対する最適解が、厳密な行動保証を伴う定常的な政策をもたらすことを証明した。
  論文  参考訳（メタデータ） (2020-12-03T18:54:24Z)
• Reliable Off-policy Evaluation for Reinforcement Learning [53.486680020852724]
  シーケンシャルな意思決定問題において、非政治評価は、目標政策の期待累積報酬を推定する。 本稿では、1つまたは複数のログデータを用いて、ロバストで楽観的な累積報酬推定を提供する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-08T23:16:19Z)
• Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies [80.42316902296832]
  本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。 この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。 異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
  論文  参考訳（メタデータ） (2020-06-06T15:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。