論文の概要: Learning Utilities from Demonstrations in Markov Decision Processes

• arxiv url: http://arxiv.org/abs/2409.17355v1
• Date: Wed, 25 Sep 2024 21:01:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-30 11:54:29.036180
• Title: Learning Utilities from Demonstrations in Markov Decision Processes
• Title（参考訳）: マルコフ決定過程における実証からユーティリティを学ぶ
• Authors: Filippo Lazzati, Alberto Maria Metelli,
• Abstract要約: 本稿では,実用機能を通じてエージェントのリスク態度を明確に表現する,マルコフ決定過程(MDP)の行動モデルを提案する。 そこで我々は,MDPにおける実演から実用機能を通じて符号化された,観察対象者のリスク態度を推定するタスクとして,ユーティリティ学習問題を定義した。 我々は, UL を有限データ型で証明可能な2つのアルゴリズムを考案し, サンプルの複雑さを解析する。
• 参考スコア（独自算出の注目度）: 18.205765143671858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Our goal is to extract useful knowledge from demonstrations of behavior in sequential decision-making problems. Although it is well-known that humans commonly engage in risk-sensitive behaviors in the presence of stochasticity, most Inverse Reinforcement Learning (IRL) models assume a risk-neutral agent. Beyond introducing model misspecification, these models do not directly capture the risk attitude of the observed agent, which can be crucial in many applications. In this paper, we propose a novel model of behavior in Markov Decision Processes (MDPs) that explicitly represents the agent's risk attitude through a utility function. We then define the Utility Learning (UL) problem as the task of inferring the observed agent's risk attitude, encoded via a utility function, from demonstrations in MDPs, and we analyze the partial identifiability of the agent's utility. Furthermore, we devise two provably efficient algorithms for UL in a finite-data regime, and we analyze their sample complexity. We conclude with proof-of-concept experiments that empirically validate both our model and our algorithms.
• Abstract（参考訳）: 我々の目標は、シーケンシャルな意思決定問題における行動の実証から有用な知識を抽出することである。 確率性の存在下では、人間が一般的にリスクに敏感な行動をとることはよく知られているが、ほとんどの逆強化学習(IRL)モデルはリスクニュートラル剤を仮定している。 モデルミスセグメンテーションの導入以外にも、これらのモデルは観察されたエージェントのリスク姿勢を直接捉えることはできず、多くのアプリケーションにおいて重要となる。 本稿では,マルコフ決定過程(MDP)において,実用機能を通じてエージェントのリスク態度を明確に表現する行動モデルを提案する。 そこで我々は,MDPにおける実演からユーティリティ機能を通じて符号化された,観察されたエージェントのリスク態度を推定するタスクとしてユーティリティ学習(UL)問題を定義し,エージェントのユーティリティの部分的識別可能性を分析する。 さらに, UL を有限データ型で証明可能な2つのアルゴリズムを考案し, サンプルの複雑さを解析する。 我々は、我々のモデルとアルゴリズムの両方を実証的に検証する概念実証実験で結論付けた。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models [50.19174067263255]
  我々は、エージェントがスパース・リワード、継続的なアクション、ゴールベースのロボット制御POMDP環境においてエクササイズするのを助けるために、事前の選好学習手法と自己修正スケジュールを導入する。 我々のエージェントは、累積報酬、相対安定性、成功率の観点から、最先端モデルよりも優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-09-21T18:32:44Z)
• Inverse-RLignment: Inverse Reinforcement Learning from Demonstrations for LLM Alignment [62.05713042908654]
  本稿では,これらの課題を克服するために,高品質な実演データを活用する新しいアプローチであるAlignment from Demonstrations (AfD)を紹介する。 AfDをシーケンシャルな意思決定フレームワークで形式化し、報酬信号の欠如というユニークな課題を強調します。 そこで本研究では,AfD に適した報酬モデル上で補間を行う計算効率のよいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-24T15:13:53Z)
• Zero-shot Imitation Policy via Search in Demonstration Dataset [0.16817021284806563]
  行動クローンは、ポリシーを学ぶためにデモのデータセットを使用する。 本稿では,事前学習した基礎モデルの潜在空間を用いて,実演データセットをインデックス化することを提案する。 提案手法は,マインクラフト環境において,有意義なデモンストレーションを効果的に再現し,エージェントの人間的行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T18:38:29Z)
• Modeling Boundedly Rational Agents with Latent Inference Budgets [56.24971011281947]
  エージェントの計算制約を明示的にモデル化する潜在推論予算モデル(L-IBM)を導入する。 L-IBMは、最適なアクターの多様な集団のデータを使ってエージェントモデルを学ぶことができる。 我々は,L-IBMが不確実性の下での意思決定のボルツマンモデルに適合しているか,あるいは上回っていることを示す。
  論文  参考訳（メタデータ） (2023-12-07T03:55:51Z)
• Risk-Aware Distributed Multi-Agent Reinforcement Learning [8.287693091673658]
  我々は,リスク認識行動の学習により,未知環境における意思決定問題を解決するために,分散MARLアプローチを開発した。 次に,CVaR QD-Learningアルゴリズムと呼ばれる分散MARLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-04T17:56:44Z)
• Deceptive Decision-Making Under Uncertainty [25.197098169762356]
  タスクを遂行しながら,外部の観察者の意図を判断できる自律エージェントの設計について検討する。 エージェントの動作をマルコフ決定プロセスとしてモデル化することにより、エージェントが複数の潜在的な目標を達成するための設定を考える。 本稿では,最大エントロピーの原理に基づいて観測者予測をモデル化し,認識戦略を効率的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-09-14T14:56:23Z)
• Feature-Based Interpretable Reinforcement Learning based on State-Transition Models [3.883460584034766]
  現実世界でのAIモデルの運用に関する懸念が高まり、AIモデルの決定を人間に説明することへの関心が高まっています。 強化学習におけるリスクに関する局所的な説明方法を提案する。
  論文  参考訳（メタデータ） (2021-05-14T23:43:11Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。