論文の概要: Causal Deep Q Network

• arxiv url: http://arxiv.org/abs/2510.23424v1
• Date: Mon, 27 Oct 2025 15:28:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.591692
• Title: Causal Deep Q Network
• Title（参考訳）: Causal Deep Q Network
• Authors: Elouanes Khelifi, Amir Saki, Usef Faghihi,
• Abstract要約: 我々は、Deep Q Networks(DQNs)に因果原理を統合する新しいアプローチを導入する。 学習中の因果推論を取り入れることで,DQNの環境の因果構造に対する理解を深める。 我々は,DQNと因果的能力を統合することで,性能を損なうことなく,問題の解決能力を大幅に向上することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep Q Networks (DQN) have shown remarkable success in various reinforcement learning tasks. However, their reliance on associative learning often leads to the acquisition of spurious correlations, hindering their problem-solving capabilities. In this paper, we introduce a novel approach to integrate causal principles into DQNs, leveraging the PEACE (Probabilistic Easy vAriational Causal Effect) formula for estimating causal effects. By incorporating causal reasoning during training, our proposed framework enhances the DQN's understanding of the underlying causal structure of the environment, thereby mitigating the influence of confounding factors and spurious correlations. We demonstrate that integrating DQNs with causal capabilities significantly enhances their problem-solving capabilities without compromising performance. Experimental results on standard benchmark environments showcase that our approach outperforms conventional DQNs, highlighting the effectiveness of causal reasoning in reinforcement learning. Overall, our work presents a promising avenue for advancing the capabilities of deep reinforcement learning agents through principled causal inference.
• Abstract（参考訳）: ディープQネットワーク(DQN)は、様々な強化学習タスクにおいて顕著な成功を収めている。 しかし、その連想学習への依存は、しばしば急激な相関関係の獲得につながり、それらの問題解決能力を阻害する。 本稿では,因果効果を推定するためにPEACE(Probabilistic Easy vAriational Causal Effect)公式を活用することにより,因果原理をDQNに組み込む新しい手法を提案する。 学習中の因果的推論を取り入れることで,DQNが環境の因果的構造を理解することを促進し,因果的要因や素因的相関の影響を緩和する。 我々は,DQNと因果的能力を統合することで,性能を損なうことなく,問題の解決能力を大幅に向上することを示した。 標準ベンチマーク環境での実験結果から,本手法は従来のDQNよりも優れており,強化学習における因果推論の有効性が示された。 全体として、本研究は、原理的因果推論を通じて、深層強化学習エージェントの能力を向上させるための有望な道を示す。

関連論文リスト

• Unifying Causal Reinforcement Learning: Survey, Taxonomy, Algorithms and Applications [35.74838344207327]
  因果強化学習(CRL)は、因果関係を明示的にモデル化することによって、課題に対する有望な解決策を提供する。 我々は既存のアプローチを因果表現学習、反ファクトポリシー最適化、オフライン因果RL、因果伝達学習、因果説明可能性に分類する。 我々は、堅牢で、一般化可能で、解釈可能な人工知能システムを開発するためのCRLの可能性について、今後の研究指針を提供する。
  論文  参考訳（メタデータ） (2025-12-19T23:37:22Z)
• Incentivizing Consistent, Effective and Scalable Reasoning Capability in Audio LLMs via Reasoning Process Rewards [24.40159537923851]
  音声大言語モデルにおけるロバストでスケーラブルな推論法を開発するための原理的手法を開発した。 MMAU 2.5 Pro と GPT-4o Audio をほぼ上回り、MMSU の推論タスクにおけるほぼ人間レベルの性能を向上する。
  論文  参考訳（メタデータ） (2025-10-23T06:18:10Z)
• Learning Nonlinear Causal Reductions to Explain Reinforcement Learning Policies [50.30741668990102]
  我々は、強化学習政策の行動を説明するための因果的視点を採っている。 我々はこれらの関係を説明する単純化された高レベルの因果関係モデルを学ぶ。 非線形因果モデルのクラスに対して、一意の解が存在することを証明する。
  論文  参考訳（メタデータ） (2025-07-20T10:25:24Z)
• Causality-Driven Neural Network Repair: Challenges and Opportunities [5.69361786082969]
  ディープニューラルネットワーク(DNN)はしばしば因果推論よりも統計的相関に頼り、その堅牢性と解釈可能性を制限する。 本稿では、主にDNN修復のためのアプローチとしての因果推論について検討し、因果デバッグと構造因果モデル(SCM)を用いて障害を特定し、修正する。
  論文  参考訳（メタデータ） (2025-04-24T21:22:00Z)
• Learning by Doing: An Online Causal Reinforcement Learning Framework with Causal-Aware Policy [38.86867078596718]
  我々は、図形因果モデルを用いて、状態の生成過程を明示的にモデル化することを検討する。 我々は、環境のアクティブな介入学習とRL相互作用プロセスに更新する因果構造を定式化する。
  論文  参考訳（メタデータ） (2024-02-07T14:09:34Z)
• Towards CausalGPT: A Multi-Agent Approach for Faithful Knowledge Reasoning via Promoting Causal Consistency in LLMs [55.66353783572259]
  Causal-Consistency Chain-of-Thoughtは、基礎モデルの忠実さと因果性を強化するために、マルチエージェントコラボレーションを活用する。 我々のフレームワークは、広範囲かつ包括的な評価を通じて、最先端の手法よりも大きな優位性を示す。
  論文  参考訳（メタデータ） (2023-08-23T04:59:21Z)
• Causal Reinforcement Learning: A Survey [57.368108154871]
  強化学習は、不確実性の下でのシーケンシャルな決定問題の解決に不可欠なパラダイムである。 主な障害の1つは、強化学習エージェントが世界に対する根本的な理解を欠いていることである。 因果性は、体系的な方法で知識を形式化できるという点で顕著な利点がある。
  論文  参考訳（メタデータ） (2023-07-04T03:00:43Z)
• Confounder Identification-free Causal Visual Feature Learning [84.28462256571822]
  本稿では,創始者を特定する必要性を排除した,創始者同定自由因果視覚特徴学習(CICF)手法を提案する。 CICFは、フロントドア基準に基づいて異なるサンプル間の介入をモデル化し、インスタンスレベルの介入に対するグローバルスコープ干渉効果を近似する。 我々は,CICFと一般的なメタラーニング戦略MAMLの関係を明らかにするとともに,MAMLが理論的観点から機能する理由を解釈する。
  論文  参考訳（メタデータ） (2021-11-26T10:57:47Z)
• Causal Inference Q-Network: Toward Resilient Reinforcement Learning [57.96312207429202]
  観測干渉を有する弾力性のあるDRLフレームワークを検討する。 本稿では、因果推論Q-network (CIQ) と呼ばれる因果推論に基づくDRLアルゴリズムを提案する。 実験の結果,提案手法は観測干渉に対して高い性能と高反発性を実現することができた。
  論文  参考訳（メタデータ） (2021-02-18T23:50:20Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。