論文の概要: Reframing attention as a reinforcement learning problem for causal discovery

• arxiv url: http://arxiv.org/abs/2507.13920v1
• Date: Fri, 18 Jul 2025 13:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-21 20:43:26.302917
• Title: Reframing attention as a reinforcement learning problem for causal discovery
• Title（参考訳）: 因果発見のための強化学習問題としてのリフレーミング
• Authors: Turan Orujlu, Christian Gumbsch, Martin V. Butz, Charley M Wu,
• Abstract要約: 本稿では因果構造に関する動的仮説を表現するための新しい理論として因果プロセスフレームワークを紹介する。 これにより、RL設定内でトランスフォーマーネットワークが普及するアテンション機構を再構築することができる。
• 参考スコア（独自算出の注目度）: 3.2498796510544636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Formal frameworks of causality have operated largely parallel to modern trends in deep reinforcement learning (RL). However, there has been a revival of interest in formally grounding the representations learned by neural networks in causal concepts. Yet, most attempts at neural models of causality assume static causal graphs and ignore the dynamic nature of causal interactions. In this work, we introduce Causal Process framework as a novel theory for representing dynamic hypotheses about causal structure. Furthermore, we present Causal Process Model as an implementation of this framework. This allows us to reformulate the attention mechanism popularized by Transformer networks within an RL setting with the goal to infer interpretable causal processes from visual observations. Here, causal inference corresponds to constructing a causal graph hypothesis which itself becomes an RL task nested within the original RL problem. To create an instance of such hypothesis, we employ RL agents. These agents establish links between units similar to the original Transformer attention mechanism. We demonstrate the effectiveness of our approach in an RL environment where we outperform current alternatives in causal representation learning and agent performance, and uniquely recover graphs of dynamic causal processes.
• Abstract（参考訳）: 因果関係の形式的枠組みは、深層強化学習(RL)の現代の傾向とほぼ平行に機能している。 しかし、ニューラルネットワークが因果概念で学んだ表現を正式に基礎づけることに対する関心は復活している。 しかし、因果関係のニューラルモデルに対するほとんどの試みは静的因果グラフを仮定し、因果相互作用の動的性質を無視する。 本稿では,因果構造に関する動的仮説を表現するための新しい理論として,因果過程の枠組みを紹介する。 さらに,本フレームワークの実装として因果プロセスモデルを提案する。 これにより、視覚的観察から解釈可能な因果過程を推定することを目的として、RL設定内でトランスフォーマーネットワークによって一般化された注意機構を再構築することができる。 ここで、因果推論は、それ自体が元のRL問題の中にネストされたRLタスクとなる因果グラフ仮説を構築することに対応する。 そのような仮説の例として、RLエージェントを用いる。 これらのエージェントは、トランスフォーマーの本来のアテンション機構に似たユニット間のリンクを確立する。 因果表現学習やエージェント性能において現在の代替手段よりも優れており、動的因果過程のグラフを一意に復元するRL環境でのアプローチの有効性を実証する。

関連論文リスト

• Learning Nonlinear Causal Reductions to Explain Reinforcement Learning Policies [50.30741668990102]
  我々は、強化学習政策の行動を説明するための因果的視点を採っている。 我々はこれらの関係を説明する単純化された高レベルの因果関係モデルを学ぶ。 非線形因果モデルのクラスに対して、一意の解が存在することを証明する。
  論文  参考訳（メタデータ） (2025-07-20T10:25:24Z)
• Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers [76.42159902257677]
  我々は、両方の行動は、アウト・オブ・コンテクスト推論(OCR)として知られる単一のメカニズムに由来すると論じる。 OCRは、関連する概念が因果関係であるかによって、一般化と幻覚の両方を駆動する。 我々の研究は、OCR現象を理解するための理論的基盤を提供し、知識注入から望ましくない行動を分析し緩和するための新しいレンズを提供する。
  論文  参考訳（メタデータ） (2025-06-12T16:50:45Z)
• Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
  世界の知識と論理的推論の相互作用について検討する。 最先端の大規模言語モデル(LLM)は、しばしば表面的な一般化に依存している。 タスクの単純な再構成により、より堅牢な推論行動が引き起こされることを示す。
  論文  参考訳（メタデータ） (2024-10-31T12:48:58Z)
• Fine-Grained Causal Dynamics Learning with Quantization for Improving Robustness in Reinforcement Learning [26.34622544479565]
  因果ダイナミクス学習は、強化学習における堅牢性を高めるための有望なアプローチである。 本稿では,微粒な因果構造を推定し,それらを予測に利用する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-05T13:13:58Z)
• Learning by Doing: An Online Causal Reinforcement Learning Framework with Causal-Aware Policy [38.86867078596718]
  我々は、図形因果モデルを用いて、状態の生成過程を明示的にモデル化することを検討する。 我々は、環境のアクティブな介入学習とRL相互作用プロセスに更新する因果構造を定式化する。
  論文  参考訳（メタデータ） (2024-02-07T14:09:34Z)
• Targeted Reduction of Causal Models [55.11778726095353]
  因果表現学習(Causal Representation Learning)は、シミュレーションで解釈可能な因果パターンを明らかにするための有望な道を提供する。 本稿では、複雑な相互作用可能なモデルを因果因子の簡潔な集合に凝縮する方法であるTCR(Targeted Causal Reduction)を紹介する。 複雑なモデルから解釈可能な高レベルな説明を生成する能力は、玩具や機械システムで実証されている。
  論文  参考訳（メタデータ） (2023-11-30T15:46:22Z)
• Learning Causally Disentangled Representations via the Principle of Independent Causal Mechanisms [17.074858228123706]
  本稿では、因果関係の観測ラベルによって教師される因果関係の非絡み合い表現を学習するための枠組みを提案する。 この枠組みは, 極めて不整合な因果関係を生じさせ, 介入の堅牢性を向上し, 反事実発生と相容れないことを示す。
  論文  参考訳（メタデータ） (2023-06-02T00:28:48Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
  因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。 純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
  論文  参考訳（メタデータ） (2021-03-26T02:42:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。