論文の概要: Partial Identifiability and Misspecification in Inverse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2411.15951v1
• Date: Sun, 24 Nov 2024 18:35:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:13.740501
• Title: Partial Identifiability and Misspecification in Inverse Reinforcement Learning
• Title（参考訳）: 逆強化学習における部分的識別性と相違
• Authors: Joar Skalse, Alessandro Abate,
• Abstract要約: Inverse Reinforcement Learning の目的は、報酬関数 $R$ をポリシー $pi$ から推論することである。 本稿では,IRLにおける部分的識別性と不特定性について包括的に分析する。
• 参考スコア（独自算出の注目度）: 64.13583792391783
• License:
• Abstract: The aim of Inverse Reinforcement Learning (IRL) is to infer a reward function $R$ from a policy $\pi$. This problem is difficult, for several reasons. First of all, there are typically multiple reward functions which are compatible with a given policy; this means that the reward function is only *partially identifiable*, and that IRL contains a certain fundamental degree of ambiguity. Secondly, in order to infer $R$ from $\pi$, an IRL algorithm must have a *behavioural model* of how $\pi$ relates to $R$. However, the true relationship between human preferences and human behaviour is very complex, and practically impossible to fully capture with a simple model. This means that the behavioural model in practice will be *misspecified*, which raises the worry that it might lead to unsound inferences if applied to real-world data. In this paper, we provide a comprehensive mathematical analysis of partial identifiability and misspecification in IRL. Specifically, we fully characterise and quantify the ambiguity of the reward function for all of the behavioural models that are most common in the current IRL literature. We also provide necessary and sufficient conditions that describe precisely how the observed demonstrator policy may differ from each of the standard behavioural models before that model leads to faulty inferences about the reward function $R$. In addition to this, we introduce a cohesive framework for reasoning about partial identifiability and misspecification in IRL, together with several formal tools that can be used to easily derive the partial identifiability and misspecification robustness of new IRL models, or analyse other kinds of reward learning algorithms.
• Abstract（参考訳）: 逆強化学習(IRL)の目的は、ポリシー$\pi$から報酬関数$R$を推論することである。 この問題はいくつかの理由で難しい。 つまり、報酬関数は *partially identible* のみであり、IRL はある程度の曖昧さを含むことを意味する。 次に、$\pi$から$R$を推測するためには、IRLアルゴリズムは$\pi$が$R$とどのように関係しているかの*振る舞いモデルを持つ必要がある。 しかし、人間の嗜好と人間の行動の関係は非常に複雑であり、単純なモデルで完全に捉えることは事実上不可能である。 これは、実際の振る舞いモデルが *misspecified* になることを意味しており、現実世界のデータに適用された場合、不適切な推論につながる恐れがある。 本稿では,IRLにおける部分的識別性と不特定性に関する包括的数学的解析を行う。 具体的には、現在のIRL文献で最もよく見られる行動モデルに対して、報酬関数のあいまいさを完全に特徴付け、定量化する。 また、観測された実証的ポリシーが、そのモデルが報酬関数の$R$に関する誤った推論につながる前に、標準の行動モデルとどのように異なるのかを正確に記述する必要十分条件も提示する。 これに加えて、IRLにおける部分的識別性や不特定性について、また新しいIRLモデルの部分的識別性や不特定性を容易に導出したり、他の種類の報酬学習アルゴリズムを分析したりするためのフォーマルなツールも導入する。

関連論文リスト

• Partial Identifiability in Inverse Reinforcement Learning For Agents With Non-Exponential Discounting [64.13583792391783]
  逆強化学習は、エージェントの振る舞いを観察することから、エージェントの好みを推測することを目的としている。 IRLの主な課題の1つは、複数の選好が同じ観察行動を引き起こす可能性があることである。 一般にIRLは、正しい最適ポリシーを特定するのに、$R$に関する十分な情報を推測できないことを示す。
  論文  参考訳（メタデータ） (2024-12-15T11:08:58Z)
• Quantifying the Sensitivity of Inverse Reinforcement Learning to Misspecification [72.08225446179783]
  逆強化学習は、エージェントの行動からエージェントの好みを推測することを目的としている。 これを行うには、$pi$が$R$とどのように関係しているかの振る舞いモデルが必要です。 我々は、IRL問題が行動モデルの不特定性にどれほど敏感であるかを分析する。
  論文  参考訳（メタデータ） (2024-03-11T16:09:39Z)
• On the Model-Misspecification in Reinforcement Learning [9.864462523050843]
  本稿では,強化学習におけるモデルの誤特定に対処するための統一的理論的枠組みを提案する。 本研究では,値に基づく手法とモデルに基づく手法が,局所的不特定誤差境界の下で頑健性を実現することを示す。 また、$zeta$の事前知識なしで同じ後悔の順序を達成できるアルゴリズム的フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-19T04:31:59Z)
• Towards Theoretical Understanding of Inverse Reinforcement Learning [45.3190496371625]
  逆強化学習(IRL)は、専門家が示す振る舞いを正当化する報酬関数を回復するアルゴリズムの強力なファミリーである。 本稿では、生成モデルを用いた有限水平問題の場合のIRLの理論ギャップを解消する。
  論文  参考訳（メタデータ） (2023-04-25T16:21:10Z)
• Misspecification in Inverse Reinforcement Learning [80.91536434292328]
  逆強化学習(IRL)の目的は、ポリシー$pi$から報酬関数$R$を推論することである。 IRLの背後にある主要な動機の1つは、人間の行動から人間の嗜好を推測することである。 これは、それらが誤って特定され、現実世界のデータに適用された場合、不適切な推測につながる恐れが生じることを意味する。
  論文  参考訳（メタデータ） (2022-12-06T18:21:47Z)
• There is no Accuracy-Interpretability Tradeoff in Reinforcement Learning for Mazes [64.05903267230467]
  相互理解性は,強化学習システムにおける信頼性に不可欠なビルディングブロックである。 場合によっては、最適性を保ちつつ、政策の解釈可能性を達成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-09T04:23:26Z)
• Invariance in Policy Optimisation and Partial Identifiability in Reward Learning [67.4640841144101]
  一般の報奨学習データソースに与えられる報酬関数の部分的識別性を特徴付ける。 また、政策最適化など、下流業務におけるこの部分的識別可能性の影響も分析する。
  論文  参考訳（メタデータ） (2022-03-14T20:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。