論文の概要: Deconfounded Imitation Learning
- arxiv url: http://arxiv.org/abs/2211.02667v1
- Date: Fri, 4 Nov 2022 18:00:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 15:50:34.879277
- Title: Deconfounded Imitation Learning
- Title(参考訳): 模倣学習の廃止
- Authors: Risto Vuorio, Johann Brehmer, Hanno Ackermann, Daniel Dijkman, Taco
Cohen, Pim de Haan
- Abstract要約: 本稿では,仮説モデルと潜在条件ポリシーを併用した推論モデルを学習する,デコンファレントな模倣学習アルゴリズムを提案する。
理論と実践において、このアルゴリズムは正しい介入模倣ポリシーに収束し、特定の仮定の下では、大まかに最適な模倣性能が得られることを示す。
- 参考スコア(独自算出の注目度): 19.0922018199264
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard imitation learning can fail when the expert demonstrators have
different sensory inputs than the imitating agent. This is because partial
observability gives rise to hidden confounders in the causal graph. We break
down the space of confounded imitation learning problems and identify three
settings with different data requirements in which the correct imitation policy
can be identified. We then introduce an algorithm for deconfounded imitation
learning, which trains an inference model jointly with a latent-conditional
policy. At test time, the agent alternates between updating its belief over the
latent and acting under the belief. We show in theory and practice that this
algorithm converges to the correct interventional policy, solves the
confounding issue, and can under certain assumptions achieve an asymptotically
optimal imitation performance.
- Abstract(参考訳): 標準的な模倣学習は、専門家のデモ参加者が模倣エージェントと異なる感覚入力を持つ場合に失敗する。
これは、部分的可観測性が因果グラフに隠れた共同設立者を引き起こすためである。
共用模倣学習問題の領域を整理し、正しい模倣ポリシーを識別できるデータ要件の異なる3つの設定を同定する。
次に,仮説モデルと潜在条件ポリシーを併用した推論モデルを学習する擬似学習アルゴリズムを提案する。
テスト時にエージェントは、潜在性に関する信念の更新と、その信念の下で行動することとを交互に行う。
本稿では,このアルゴリズムが正しい介入方針に収束し,解決し,一定の仮定の下で漸近的に最適な模倣性能が得られることを示す。
関連論文リスト
- Sequential Causal Imitation Learning with Unobserved Confounders [82.22545916247269]
猿が猿を見なさい」とは、制度の根底にある仕組みを深く理解せずに「生」の模倣を指して、昔ながらの格言である。
本稿では、エピソード毎に複数の意思決定をしなければならないシーケンシャルセッティングにおける因果模倣学習の問題について検討する。
論文 参考訳(メタデータ) (2022-08-12T13:53:23Z) - Causal Imitation Learning with Unobserved Confounders [82.22545916247269]
本研究では,学習者と専門家の感覚入力が異なる場合の模倣学習について検討する。
我々は、専門家の軌跡の量的知識を活用することで、模倣が依然として実現可能であることを示した。
論文 参考訳(メタデータ) (2022-08-12T13:29:53Z) - On Covariate Shift of Latent Confounders in Imitation and Reinforcement
Learning [69.48387059607387]
模擬・強化学習において,未観測の共同設立者と専門家データを併用することの問題点を考察する。
我々は、外部報酬を伴わずに、確立した専門家データから学ぶことの限界を分析する。
我々は,支援医療とレコメンデーションシステムシミュレーションの課題に挑戦する上で,我々の主張を実証的に検証する。
論文 参考訳(メタデータ) (2021-10-13T07:31:31Z) - A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。
我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。
実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
論文 参考訳(メタデータ) (2021-08-05T15:58:25Z) - Provable Hierarchical Imitation Learning via EM [2.864550757598007]
専門家による実証から選択肢型階層政策を学習することを検討する。
Danielらによって提案されたEMアプローチを特徴付ける。
提案アルゴリズムは実パラメータの周囲のノルム球に高い確率で収束することを示す。
論文 参考訳(メタデータ) (2020-10-07T03:21:57Z) - Non-Adversarial Imitation Learning and its Connections to Adversarial
Methods [21.89749623434729]
非対人模倣学習のための枠組みを提案する。
結果のアルゴリズムは敵のアルゴリズムと似ている。
また, 新たなアルゴリズムを導出するために, 我々の非敵対的定式化が有効であることを示す。
論文 参考訳(メタデータ) (2020-08-08T13:43:06Z) - Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with
Latent Confounders [62.54431888432302]
無限水平エルゴードマルコフ決定過程におけるOPE問題について考察する。
我々は、状態と行動の潜在変数モデルのみを考慮すれば、政策値が政治外のデータから特定できることを示す。
論文 参考訳(メタデータ) (2020-07-27T22:19:01Z) - Strictly Batch Imitation Learning by Energy-based Distribution Matching [104.33286163090179]
すなわち、強化信号へのアクセスがなく、遷移力学の知識がなく、環境とのさらなる相互作用もない。
1つの解決策は、既存のアルゴリズムをオフライン環境で動作させるために、見習いの学習に適合させることである。
しかし、このようなアプローチは、政治外の評価やオフラインモデルの推定に大きく依存しており、間接的で非効率である可能性がある。
優れたソリューションは、ポリシーを明示的にパラメータ化し、ロールアウトダイナミクスから暗黙的に学習し、完全にオフラインで運用できるべきだ、と私たちは主張する。
論文 参考訳(メタデータ) (2020-06-25T03:27:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。