論文の概要: Learning Nonlinear Causal Reductions to Explain Reinforcement Learning Policies

• arxiv url: http://arxiv.org/abs/2507.14901v1
• Date: Sun, 20 Jul 2025 10:25:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.114615
• Title: Learning Nonlinear Causal Reductions to Explain Reinforcement Learning Policies
• Title（参考訳）: 非線形因果還元を学習して強化学習法を説明する
• Authors: Armin Kekić, Jan Schneider, Dieter Büchler, Bernhard Schölkopf, Michel Besserve,
• Abstract要約: 我々は、強化学習政策の行動を説明するための因果的視点を採っている。 我々はこれらの関係を説明する単純化された高レベルの因果関係モデルを学ぶ。 非線形因果モデルのクラスに対して、一意の解が存在することを証明する。
• 参考スコア（独自算出の注目度）: 50.30741668990102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Why do reinforcement learning (RL) policies fail or succeed? This is a challenging question due to the complex, high-dimensional nature of agent-environment interactions. In this work, we take a causal perspective on explaining the behavior of RL policies by viewing the states, actions, and rewards as variables in a low-level causal model. We introduce random perturbations to policy actions during execution and observe their effects on the cumulative reward, learning a simplified high-level causal model that explains these relationships. To this end, we develop a nonlinear Causal Model Reduction framework that ensures approximate interventional consistency, meaning the simplified high-level model responds to interventions in a similar way as the original complex system. We prove that for a class of nonlinear causal models, there exists a unique solution that achieves exact interventional consistency, ensuring learned explanations reflect meaningful causal patterns. Experiments on both synthetic causal models and practical RL tasks-including pendulum control and robot table tennis-demonstrate that our approach can uncover important behavioral patterns, biases, and failure modes in trained RL policies.
• Abstract（参考訳）: なぜ強化学習(RL)政策は失敗するか成功するのか? これはエージェント-環境相互作用の複雑で高次元の性質のために難しい問題である。 本研究では,低レベルの因果モデルにおいて,状態,行動,報酬を変数として見ることにより,RL政策の振る舞いを説明するための因果的視点をとる。 実行中の政策行動にランダムな摂動を導入し,それらが累積報酬に与える影響を観察し,これらの関係を説明する単純化された高レベル因果モデルを学ぶ。 そこで我々は, 近似的介入整合性を保証する非線形因果モデル削減フレームワークを開発し, 単純化された高次モデルが, 元の複雑系と同様の方法で介入に応答することを示す。 非線形因果モデルのクラスには、正確な介入整合性を実現し、学習された説明が意味のある因果パターンを反映することを保証するユニークな解が存在することを証明している。 人工因果モデルと実践的RLタスク(振り子制御とロボットテーブルテニスデーモンストレートを含む)の両方の実験により、トレーニングされたRLポリシーにおける重要な行動パターン、バイアス、障害モードを明らかにすることができる。

関連論文リスト

• Reframing attention as a reinforcement learning problem for causal discovery [3.2498796510544636]
  本稿では因果構造に関する動的仮説を表現するための新しい理論として因果プロセスフレームワークを紹介する。 これにより、RL設定内でトランスフォーマーネットワークが普及するアテンション機構を再構築することができる。
  論文  参考訳（メタデータ） (2025-07-18T13:50:57Z)
• Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
  世界の知識と論理的推論の相互作用について検討する。 最先端の大規模言語モデル(LLM)は、しばしば表面的な一般化に依存している。 タスクの単純な再構成により、より堅牢な推論行動が引き起こされることを示す。
  論文  参考訳（メタデータ） (2024-10-31T12:48:58Z)
• Fine-Grained Causal Dynamics Learning with Quantization for Improving Robustness in Reinforcement Learning [26.34622544479565]
  因果ダイナミクス学習は、強化学習における堅牢性を高めるための有望なアプローチである。 本稿では,微粒な因果構造を推定し,それらを予測に利用する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-05T13:13:58Z)
• Learning by Doing: An Online Causal Reinforcement Learning Framework with Causal-Aware Policy [38.86867078596718]
  我々は、図形因果モデルを用いて、状態の生成過程を明示的にモデル化することを検討する。 我々は、環境のアクティブな介入学習とRL相互作用プロセスに更新する因果構造を定式化する。
  論文  参考訳（メタデータ） (2024-02-07T14:09:34Z)
• Targeted Reduction of Causal Models [55.11778726095353]
  因果表現学習(Causal Representation Learning)は、シミュレーションで解釈可能な因果パターンを明らかにするための有望な道を提供する。 本稿では、複雑な相互作用可能なモデルを因果因子の簡潔な集合に凝縮する方法であるTCR(Targeted Causal Reduction)を紹介する。 複雑なモデルから解釈可能な高レベルな説明を生成する能力は、玩具や機械システムで実証されている。
  論文  参考訳（メタデータ） (2023-11-30T15:46:22Z)
• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)
• Explainable Reinforcement Learning via a Causal World Model [5.4934134592053185]
  我々は,環境の因果構造を事前に知ることなく,因果世界モデルを学ぶ。 このモデルは行動の影響を捉え、因果連鎖を通して行動の長期的影響を解釈する。 我々のモデルは、説明可能性を改善しながら正確であり、モデルベースの学習に適用できる。
  論文  参考訳（メタデータ） (2023-05-04T11:38:25Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning [76.00395335702572]
  AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。 因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。 本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
  論文  参考訳（メタデータ） (2021-07-02T05:44:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。