論文の概要: Causal Reinforcement Learning: A Survey
- arxiv url: http://arxiv.org/abs/2307.01452v1
- Date: Tue, 4 Jul 2023 03:00:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 18:26:20.501884
- Title: Causal Reinforcement Learning: A Survey
- Title（参考訳）: 因果強化学習:調査
- Authors: Zhihong Deng, Jing Jiang, Guodong Long, Chengqi Zhang
- Abstract要約: 強化学習は、不確実性の下でのシーケンシャルな決定問題の解決に不可欠なパラダイムである。
主な障害の1つは、強化学習エージェントが世界に対する根本的な理解を欠いていることである。
因果性は、体系的な方法で知識を形式化できるという点で顕著な利点がある。
- 参考スコア（独自算出の注目度）: 53.460342504993996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning is an essential paradigm for solving sequential
decision problems under uncertainty. Despite many remarkable achievements in
recent decades, applying reinforcement learning methods in the real world
remains challenging. One of the main obstacles is that reinforcement learning
agents lack a fundamental understanding of the world and must therefore learn
from scratch through numerous trial-and-error interactions. They may also face
challenges in providing explanations for their decisions and generalizing the
acquired knowledge. Causality, however, offers a notable advantage as it can
formalize knowledge in a systematic manner and leverage invariance for
effective knowledge transfer. This has led to the emergence of causal
reinforcement learning, a subfield of reinforcement learning that seeks to
enhance existing algorithms by incorporating causal relationships into the
learning process. In this survey, we comprehensively review the literature on
causal reinforcement learning. We first introduce the basic concepts of
causality and reinforcement learning, and then explain how causality can
address core challenges in non-causal reinforcement learning. We categorize and
systematically review existing causal reinforcement learning approaches based
on their target problems and methodologies. Finally, we outline open issues and
future directions in this emerging field.
- Abstract（参考訳）: 強化学習は不確実性下での逐次的決定問題を解決する上で不可欠なパラダイムである。
近年の多くの業績にもかかわらず、現実世界での強化学習手法の適用は依然として困難である。
主な障害の1つは、強化学習エージェントが世界に対する根本的な理解を欠いているため、多くの試行錯誤相互作用を通じてゼロから学ぶ必要があることである。
また、意思決定の説明を提供し、獲得した知識を一般化する上でも課題に直面している。
しかし因果性は、体系的な方法で知識を形式化し、効果的な知識伝達のために不変性を活用することができるため、顕著な利点を提供する。
これは、因果関係を学習プロセスに組み込むことで既存のアルゴリズムを強化することを目指す強化学習のサブフィールドである因果関係強化学習の出現につながった。
本稿では,因果強化学習に関する文献を総合的に検討する。
まず,因果関係と強化学習の基本概念を紹介し,因果関係が非因果関係強化学習の核となる課題にどのように対処できるかを説明する。
我々は,既存の因果強化学習アプローチを対象問題と方法論に基づいて分類し,体系的に検討する。
最後に,この新興分野におけるオープンイシューと今後の方向性について概説する。
関連論文リスト
- Reinforcement Learning with Knowledge Representation and Reasoning: A
Brief Survey [24.81327556378729]
近年,強化学習は飛躍的な発展を遂げている。
いまだに複雑な実生活問題に対処する上で大きな障害に直面している。
近年,知識表現と推論の利用に対する関心が高まっている。
論文 参考訳（メタデータ） (2023-04-24T13:35:11Z) - Learning by Applying: A General Framework for Mathematical Reasoning via
Enhancing Explicit Knowledge Learning [47.96987739801807]
本稿では,既存のモデル(バックボーン)を明示的な知識学習によって原則的に拡張する枠組みを提案する。
LeApでは,新しい問題知識表現パラダイムで知識学習を行う。
LeApはすべてのバックボーンのパフォーマンスを改善し、正確な知識を習得し、より解釈可能な推論プロセスを実現する。
論文 参考訳（メタデータ） (2023-02-11T15:15:41Z) - Deep Causal Learning: Representation, Discovery and Inference [2.696435860368848]
因果学習は、現象の基盤となり、世界が進化するメカニズムを規定する本質的な関係を明らかにする。
従来の因果学習手法は、高次元変数、非構造変数、最適化問題、未観測の共同設立者、選択バイアス、推定不正確さなど、多くの課題や制限に直面している。
ディープ・因果学習はディープ・ニューラルネットワークを活用し、これらの課題に対処するための革新的な洞察と解決策を提供する。
論文 参考訳（メタデータ） (2022-11-07T09:00:33Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - Rethinking Learning Dynamics in RL using Adversarial Networks [79.56118674435844]
本稿では,スキル埋め込み空間を通じてパラメータ化された,密接に関連するスキルの強化学習のための学習機構を提案する。
本研究の主な貢献は、エントロピー規則化政策勾配定式化の助けを借りて、強化学習のための敵の訓練体制を定式化することである。
論文 参考訳（メタデータ） (2022-01-27T19:51:09Z) - Incremental Knowledge Based Question Answering [52.041815783025186]
人間と同じように学習能力を段階的に拡張できるインクリメンタルKBQA学習フレームワークを提案します。
具体的には、破滅的な忘れ問題を克服するために、マージン希釈損失と協調選択方法からなる。
包括的な実験は、進化する知識ベースに取り組む際にその効果と効率を示す。
論文 参考訳（メタデータ） (2021-01-18T09:03:38Z) - Transfer Learning in Deep Reinforcement Learning: A Survey [64.36174156782333]
強化学習は、シーケンシャルな意思決定問題を解決するための学習パラダイムである。
近年、ディープニューラルネットワークの急速な発展により、強化学習の顕著な進歩が見られた。
転校学習は 強化学習が直面する様々な課題に 対処するために生まれました
論文 参考訳（メタデータ） (2020-09-16T18:38:54Z) - Importance Weighted Policy Learning and Adaptation [89.46467771037054]
政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。
このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。
提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
論文 参考訳（メタデータ） (2020-09-10T14:16:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。