論文の概要: Causal Curiosity: RL Agents Discovering Self-supervised Experiments for
Causal Representation Learning
- arxiv url: http://arxiv.org/abs/2010.03110v4
- Date: Fri, 6 Aug 2021 21:53:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 22:46:32.738144
- Title: Causal Curiosity: RL Agents Discovering Self-supervised Experiments for
Causal Representation Learning
- Title（参考訳）: 因果好奇心:因果表現学習のための自己指導実験を発見するRLエージェント
- Authors: Sumedh A. Sontakke, Arash Mehrjou, Laurent Itti, Bernhard Sch\"olkopf
- Abstract要約: 心因性好奇心(em causal curiosity)は,本質的な報酬である。
エージェントが最適な行動列を学習できることを示す。
また、因果因子表現の知識は、より複雑なタスクにおいてゼロショット学習に役立つことを示す。
- 参考スコア（独自算出の注目度）: 24.163616087447874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Animals exhibit an innate ability to learn regularities of the world through
interaction. By performing experiments in their environment, they are able to
discern the causal factors of variation and infer how they affect the world's
dynamics. Inspired by this, we attempt to equip reinforcement learning agents
with the ability to perform experiments that facilitate a categorization of the
rolled-out trajectories, and to subsequently infer the causal factors of the
environment in a hierarchical manner. We introduce {\em causal curiosity}, a
novel intrinsic reward, and show that it allows our agents to learn optimal
sequences of actions and discover causal factors in the dynamics of the
environment. The learned behavior allows the agents to infer a binary quantized
representation for the ground-truth causal factors in every environment.
Additionally, we find that these experimental behaviors are semantically
meaningful (e.g., our agents learn to lift blocks to categorize them by
weight), and are learnt in a self-supervised manner with approximately 2.5
times less data than conventional supervised planners. We show that these
behaviors can be re-purposed and fine-tuned (e.g., from lifting to pushing or
other downstream tasks). Finally, we show that the knowledge of causal factor
representations aids zero-shot learning for more complex tasks. Visit
https://sites.google.com/usc.edu/causal-curiosity/home for website.
- Abstract（参考訳）: 動物は相互作用を通じて世界の規則性を学ぶ生来の能力を示す。
彼らの環境で実験を行うことで、変動の原因を識別し、それが世界の力学に与える影響を推測することができる。
そこで本研究では,強化学習エージェントに,ロールアウトトラジェクタの分類を容易にする実験を行い,その後,環境の因果要因を階層的に推測する能力を持たせることを試みた。
我々は,新たな内在的な報酬である"em causal curiosity"を導入し,エージェントが行動の最適なシーケンスを学習し,環境のダイナミクスにおける因果的要因の発見を可能にすることを示す。
学習された振る舞いにより、エージェントは各環境における基底真理因果因子のバイナリ量子化表現を推論することができる。
さらに、これらの実験行動は意味論的に意味があり(例えば、エージェントはブロックを持ち上げて重みによって分類する)、従来の教師付きプランナーよりも約2.5倍少ないデータで自己監督的に学習される。
これらの振る舞いは、再目的化や微調整(例えば、リフトからプッシュ、その他の下流タスク)が可能であることを示す。
最後に,因果因子表現の知識がより複雑なタスクに対してゼロショット学習を支援することを示す。
webサイトはhttps://sites.google.com/usc.edu/causal-curiosity/homeを参照。
関連論文リスト
- Variable-Agnostic Causal Exploration for Reinforcement Learning [56.52768265734155]
強化学習のための新しいフレームワークVACERL(Variable-Agnostic Causal Exploration for Reinforcement Learning)を導入する。
本手法は,注目機構を用いて,重要変数に関連する重要な観測行動ステップを自動的に同定する。
これらのステップを接続する因果グラフを構築し、エージェントをタスク完了に対する因果的影響の大きい観察-作用ペアへと導く。
論文 参考訳（メタデータ） (2024-07-17T09:45:27Z) - Why Online Reinforcement Learning is Causal [31.59766909722592]
強化学習(RL)と因果モデリングは自然に相互に補完する。
本稿では、因果モデリングのメリットを期待できる強化学習設定について検討する。
論文 参考訳（メタデータ） (2024-03-07T04:49:48Z) - Generative agents in the streets: Exploring the use of Large Language
Models (LLMs) in collecting urban perceptions [0.0]
本研究では,大規模言語モデル(LLM)を用いた生成エージェントの現況について検討する。
この実験では、都市環境と対話するための生成エージェントを用いて、ストリートビューイメージを使用して、特定の目標に向けて旅を計画する。
LLMにはエンボディメントがなく、視覚領域にもアクセスできず、動きや方向の感覚も欠如しているため、エージェントが周囲の全体的理解を得るのに役立つ動きと視覚モジュールを設計した。
論文 参考訳（メタデータ） (2023-12-20T15:45:54Z) - Sim-to-Real Causal Transfer: A Metric Learning Approach to
Causally-Aware Interaction Representations [62.48505112245388]
エージェント相互作用の現代的表現の因果認識を詳細に検討する。
近年の表現は、非因果剤の摂動に対して部分的に耐性があることが示されている。
因果アノテーションを用いた潜在表現を正規化するための計量学習手法を提案する。
論文 参考訳（メタデータ） (2023-12-07T18:57:03Z) - Observing Interventions: A logic for thinking about experiments [62.997667081978825]
本稿では,実験から学ぶ論理への第一歩について述べる。
我々のアプローチにとって重要なことは、介入の概念が(現実的または仮説的な)実験の形式的表現として使用できるという考えである。
提案された全ての論理系に対して、健全で完全な公理化を提供する。
論文 参考訳（メタデータ） (2021-11-25T09:26:45Z) - Systematic Evaluation of Causal Discovery in Visual Model Based
Reinforcement Learning [76.00395335702572]
AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。
因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。
本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
論文 参考訳（メタデータ） (2021-07-02T05:44:56Z) - Noisy Agents: Self-supervised Exploration by Predicting Auditory Events [127.82594819117753]
本稿では, エージェントが行動の因果的影響を理解することを奨励する, 強化学習(Reinforcement Learning, RL)の本質的なモチベーションを提案する。
ニューラルネットワークを用いて聴覚事象を予測し、予測誤差を本質的な報奨として利用し、RL探索を誘導する。
Atariゲームの実験結果から、我々の新しい本質的な動機は、最先端のベースラインを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2020-07-27T17:59:08Z) - Show me the Way: Intrinsic Motivation from Demonstrations [44.87651595571687]
複雑な探索行動は, 異なる動機を反映して, RLエージェントによって学習し, 効率的に利用でき, 徹底的な探索が禁じられる課題を解決することができることを示す。
本稿では,これらのモチベーションを人工エージェントに伝達する実証実験から探索ボーナスを学習することを提案する。
論文 参考訳（メタデータ） (2020-06-23T11:52:53Z) - Learning to Incentivize Other Learning Agents [73.03133692589532]
我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。
このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。
私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
論文 参考訳（メタデータ） (2020-06-10T20:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。