論文の概要: Learning Causal Overhypotheses through Exploration in Children and Computational Models

• arxiv url: http://arxiv.org/abs/2202.10430v1
• Date: Mon, 21 Feb 2022 18:43:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 08:38:57.821770
• Title: Learning Causal Overhypotheses through Exploration in Children and Computational Models
• Title（参考訳）: 子どもの探索と計算モデルによる因果仮説の学習
• Authors: Eliza Kosoy, Adrian Liu, Jasmine Collins, David M Chan, Jessica B Hamrick, Nan Rosemary Ke, Sandy H Huang, Bryanna Kaufmann, John Canny, Alison Gopnik
• Abstract要約: 制御可能な因果構造を持つ新しい強化学習環境を提案する。 本研究では, 因果環境における情報ゲイン最適RL探索と, 同一環境における子どもの探索との間に有意な差異があることを実証した。
• 参考スコア（独自算出の注目度）: 4.957184316605402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent progress in reinforcement learning (RL), RL algorithms for exploration still remain an active area of research. Existing methods often focus on state-based metrics, which do not consider the underlying causal structures of the environment, and while recent research has begun to explore RL environments for causal learning, these environments primarily leverage causal information through causal inference or induction rather than exploration. In contrast, human children - some of the most proficient explorers - have been shown to use causal information to great benefit. In this work, we introduce a novel RL environment designed with a controllable causal structure, which allows us to evaluate exploration strategies used by both agents and children in a unified environment. In addition, through experimentation on both computation models and children, we demonstrate that there are significant differences between information-gain optimal RL exploration in causal environments and the exploration of children in the same environments. We conclude with a discussion of how these findings may inspire new directions of research into efficient exploration and disambiguation of causal structures for RL algorithms.
• Abstract（参考訳）: 近年の強化学習(RL)の進歩にもかかわらず、探索のためのRLアルゴリズムは依然として研究の活発な領域である。 既存の手法は、環境の因果構造を考慮しない状態ベースのメトリクスに焦点をあてることが多く、最近の研究は因果学習のためのRL環境を探り始めたが、これらの環境は主に因果推論や帰納的誘導を通じて因果情報を活用する。 対照的に、最も有能な探検家の1人である人間の子供たちは、因果情報を使って大きな利益を上げている。 本研究では,制御可能な因果構造を持つ新しいRL環境を導入し,エージェントと子どもが統一された環境で使用する探索戦略を評価する。 また, 計算モデルと子どもの双方について実験を行い, 因果環境における情報収集最適rl探索と同一環境における子どもの探索との間に有意な差があることを実証した。 我々はこれらの発見がRLアルゴリズムの因果構造の効率的な探索と曖昧化の研究の新たな方向性にどのように影響するかを議論した。

関連論文リスト

• Variable-Agnostic Causal Exploration for Reinforcement Learning [56.52768265734155]
  強化学習のための新しいフレームワークVACERL(Variable-Agnostic Causal Exploration for Reinforcement Learning)を導入する。 本手法は,注目機構を用いて,重要変数に関連する重要な観測行動ステップを自動的に同定する。 これらのステップを接続する因果グラフを構築し、エージェントをタスク完了に対する因果的影響の大きい観察-作用ペアへと導く。
  論文  参考訳（メタデータ） (2024-07-17T09:45:27Z)
• Learning by Doing: An Online Causal Reinforcement Learning Framework with Causal-Aware Policy [40.33036146207819]
  我々は、図形因果モデルを用いて、状態の生成過程を明示的にモデル化することを検討する。 我々は、環境のアクティブな介入学習とRL相互作用プロセスに更新する因果構造を定式化する。
  論文  参考訳（メタデータ） (2024-02-07T14:09:34Z)
• On the Importance of Exploration for Generalization in Reinforcement Learning [89.63074327328765]
  本研究では,不確実性の高い状態の探索を支援する方法であるEDE: Exploration via Distributional Ensembleを提案する。 当社のアルゴリズムは,ProcgenとCrafterの両面で最先端を実現するための,最初のバリューベースアプローチである。
  論文  参考訳（メタデータ） (2023-06-08T18:07:02Z)
• A Diachronic Analysis of Paradigm Shifts in NLP Research: When, How, and Why? [84.46288849132634]
  本稿では、因果発見と推論技術を用いて、科学分野における研究トピックの進化を分析するための体系的な枠組みを提案する。 我々は3つの変数を定義し、NLPにおける研究トピックの進化の多様な側面を包含する。 我々は因果探索アルゴリズムを用いてこれらの変数間の因果関係を明らかにする。
  論文  参考訳（メタデータ） (2023-05-22T11:08:00Z)
• An information-theoretic perspective on intrinsic motivation in reinforcement learning: a survey [0.0]
  本稿では,これらの研究成果を情報理論に基づく新たな分類法を用いて調査することを提案する。 我々は、サプライズ、ノベルティ、スキル学習の概念を計算的に再考する。 我々の分析は、新規性とサプライズがトランスファー可能なスキルの階層を構築するのに役立つことを示唆している。
  論文  参考訳（メタデータ） (2022-09-19T09:47:43Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
  因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。 純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
  論文  参考訳（メタデータ） (2021-03-26T02:42:38Z)
• Exploring Exploration: Comparing Children with RL Agents in Unified Environments [24.042862527317258]
  本稿では,子どもとエージェントの行動を直接比較し,新たな探索手法を開発するためのプラットフォームとしてDeepMind Labを提案する。 直接比較の有効性を実証する2つの実験を概説し、この手法を用いて検証できると思われる多くのオープンな研究課題を概説する。
  論文  参考訳（メタデータ） (2020-05-06T14:54:31Z)
• A Survey on Causal Inference [64.45536158710014]
  因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。 観測データに対する様々な因果効果推定法が誕生した。
  論文  参考訳（メタデータ） (2020-02-05T21:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。