論文の概要: The Causally Emergent Alignment Hypothesis: Causal Emergence Aligns with and Predicts Final Reward in Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2605.06746v1
• Date: Thu, 07 May 2026 15:00:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.507604
• Title: The Causally Emergent Alignment Hypothesis: Causal Emergence Aligns with and Predicts Final Reward in Reinforcement Learning Agents
• Title（参考訳）: 因果的創発的アライメント仮説:強化学習エージェントにおける因果的創発的アライメントと最終リワードの予測
• Authors: Federico Pigozzi, Michael Levin,
• Abstract要約: 因果的出現は、エージェントがその将来に固有の予測力を発揮する度合いを測定する。 近年の発見によると、生物学的エージェントは、最小限のエージェントでさえ、新しい記憶を学習した後、因果関係の出現を増大させる。 本研究では,ニューラルネットワークエージェントの環境条件に対する強化学習に着目した。
• 参考スコア（独自算出の注目度）: 1.0742675209112622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A hallmark of life on Earth is the ability of agents to exert causal power and be drivers of subsequent events. This is key to cognition at all scales. Causal emergence, measuring the degree to which an agent exerts unique predictive power on its future, is one consequence of causal power. Indeed, recent discoveries have shown that biological agents, even minimal ones, increase their causal emergence after learning new memories. However, there is a major knowledge gap regarding how causally emergent artificial agents are. We focused on Reinforcement Learning (RL) of neural-network agents across an array of environmental conditions, encompassing different algorithms, agent architectures, and six environments arranged on a complexity spectrum. For consistency, we computed the causal emergence of their latent-space representations over their lifetimes. We used the recently proposed ΦID to estimate causal emergence and tested how it related to learning performance. Our results suggested a Causally Emergent Alignment Hypothesis: successful agents exhibited causal emergence that was consistently predictive of final reward early in training and whose representational dynamics aligned with reward improvement in most tasks. This idea suggests that causal emergence may be a previously undisclosed axis of reorganization of neural representations in RL agents, with the potential to establish causal relationships and interventions that will lead to better RL agents. Our work also highlights the alignment between causal emergence and learning as another way biological and artificial creatures compare.
• Abstract（参考訳）: 地球上の生命の目印は、エージェントが因果力を発揮し、その後の出来事の原動力となる能力である。 これはあらゆる規模において認知の鍵です。 因果的出現は、エージェントがその将来に固有の予測力を発揮する程度を測定するものであり、因果的力の結果である。 事実、最近の発見では、生物学的エージェントは、最小限のエージェントでさえ、新しい記憶を学習した後、因果関係の出現を増大させる。 しかし、因果的創発的な人工エージェントがどうあるかについては、大きな知識ギャップがある。 我々は、さまざまなアルゴリズム、エージェントアーキテクチャ、複雑スペクトル上に配置された6つの環境を網羅した、ニューラルネットワークエージェントの強化学習(RL)に焦点を当てた。 一貫性のために、我々は彼らの生涯における潜在空間表現の因果的出現を計算した。 我々は、最近提案された sID を用いて因果関係の出現を推定し、それが学習性能とどのように関係しているかを検証した。 本研究は,訓練の初期段階において最終報酬を常に予測し,ほとんどのタスクにおいて報酬改善に一致した表現力学を有する因果関係の出現を成功エージェントが示すことを示し,因果関係の仮説を提唱した。 この考えは、因果発生は、RLエージェントにおける神経表現の再編成の以前には明らかにされていなかった軸であり、より優れたRLエージェントにつながる因果関係や介入を確立する可能性があることを示唆している。 私たちの研究は、生物学的生物と人工生物の比較方法として、因果関係の出現と学習の整合性も強調しています。

関連論文リスト

• DODO: Causal Structure Learning with Budgeted Interventions [1.0323063834827415]
  本稿では,エージェントが環境の因果構造を自律的に学習する方法を定義するアルゴリズムであるDODOを紹介する。 その結果,最も限られた資源条件を除いて,観測的アプローチに比べ,DODOの性能は向上した。
  論文  参考訳（メタデータ） (2025-10-09T13:32:33Z)
• Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents [58.69865074060139]
  エージェントの自己進化が意図しない方法で逸脱し、望ましくない結果や有害な結果に至る場合について検討する。 我々の経験から、誤進化は広範囲にわたるリスクであり、最上位のLSM上に構築されたエージェントにも影響を及ぼすことが判明した。 我々は、より安全で信頼性の高い自己進化型エージェントを構築するためのさらなる研究を促すための潜在的な緩和戦略について議論する。
  論文  参考訳（メタデータ） (2025-09-30T14:55:55Z)
• Reframing attention as a reinforcement learning problem for causal discovery [3.2498796510544636]
  本稿では因果構造に関する動的仮説を表現するための新しい理論として因果プロセスフレームワークを紹介する。 これにより、RL設定内でトランスフォーマーネットワークが普及するアテンション機構を再構築することができる。
  論文  参考訳（メタデータ） (2025-07-18T13:50:57Z)
• Variable-Agnostic Causal Exploration for Reinforcement Learning [56.52768265734155]
  強化学習のための新しいフレームワークVACERL(Variable-Agnostic Causal Exploration for Reinforcement Learning)を導入する。 本手法は,注目機構を用いて,重要変数に関連する重要な観測行動ステップを自動的に同定する。 これらのステップを接続する因果グラフを構築し、エージェントをタスク完了に対する因果的影響の大きい観察-作用ペアへと導く。
  論文  参考訳（メタデータ） (2024-07-17T09:45:27Z)
• Emergence and Causality in Complex Systems: A Survey on Causal Emergence and Related Quantitative Studies [12.78006421209864]
  因果発生理論は出現を定量化するために因果関係の尺度を用いる。 因果の出現を定量化し、データを識別する。 因果表現学習,因果モデル抽象化,世界モデルに基づく強化学習によって,因果表現の出現を識別するアーキテクチャが共有されることを強調した。
  論文  参考訳（メタデータ） (2023-12-28T04:20:46Z)
• Sim-to-Real Causal Transfer: A Metric Learning Approach to Causally-Aware Interaction Representations [58.96953392466609]
  エージェント相互作用の現代的表現の因果認識を詳細に検討する。 近年の表現は、非因果剤の摂動に対して部分的に耐性があることが示されている。 本稿では,因果アノテーションを用いて潜在表現を規則化するメトリクス学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-07T18:57:03Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
  因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。 純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
  論文  参考訳（メタデータ） (2021-03-26T02:42:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。