論文の概要: Why LLMs Fail at Causal Discovery and How Interventional Agents Escape

• arxiv url: http://arxiv.org/abs/2605.27567v1
• Date: Tue, 26 May 2026 18:37:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.46066
• Title: Why LLMs Fail at Causal Discovery and How Interventional Agents Escape
• Title（参考訳）: LLMが原因不明の理由とインターベンショナルエージェントの出現
• Authors: Amartya Roy, Sonali Parbhoo,
• Abstract要約: 因果発見は科学的な推論の基盤であるが、大きな言語モデルが確実にそれを実行することができるかどうかについては未解決のままである。 最近のベンチマークでは、単純な因果グラフ上で微調整されたモデルでさえ、複雑さが増大するにつれて劣化するが、なぜ失敗するのかは定まっていない。 教師付き微調整, 直接選好最適化, コンテキスト内学習はすべて, 類似した観測データを生成する因果グラフを区別できない予測子を生成する。
• 参考スコア（独自算出の注目度）: 2.7976995580303305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Causal discovery is a cornerstone of scientific reasoning, yet whether large language models can perform it reliably remains an open question. Recent benchmarks show that even fine-tuned models plateau on simple causal graphs and degrade as complexity grows, but why they fail has not been established. We prove the failure is fundamental: supervised fine-tuning, direct preference optimization, and in-context learning all produce predictors that cannot distinguish between causal graphs generating similar observational data, and any attempt to do so requires the model's internal representations to grow unboundedly, violating the very conditions under which these methods work. We formalize this as a kernel obstruction theorem, establishing that the limitation is intrinsic to the learning paradigm, \emph{not any particular model or dataset}. We propose Agentic Causal Bayesian Optimization (A-CBO), wherein a frozen language model serves as an interventional oracle answering targeted queries about intervention effects, while an external Bayesian loop concentrates beliefs over candidate graphs in logarithmically many rounds. Because the decision operates outside the space where the obstruction applies, A-CBO provably converges while the underlying model remains unchanged. On Corr2Cause, A-CBO matches fine-tuned baselines without any training. On Extended Corr2Cause, a new benchmark scaling to 24 variables with 18K test samples, A-CBO significantly outperforms both fine-tuning and preference optimization, with the advantage growing
• Abstract（参考訳）: 因果発見は科学的な推論の基盤であるが、大きな言語モデルが確実にそれを実行することができるかどうかについては未解決のままである。 最近のベンチマークでは、単純な因果グラフ上で微調整されたモデルでさえ、複雑さが増大するにつれて劣化するが、なぜ失敗するのかは定まっていない。 教師付き微調整、直接選好最適化、文脈内学習は全て、類似した観測データを生成する因果グラフを区別できない予測子を生成します。 我々はこれをカーネルの障害定理として定式化し、この制限は学習パラダイムに固有のものであることを証明した。 本稿では, エージェント因果ベイズ最適化 (A-CBO) を提案する。フリーズ言語モデルでは, 介入効果に関するクエリを対象とする介入オラクルとして機能し, 外部ベイズループは対数的に多くのラウンドにおいて候補グラフに対する信念に集中する。 この決定は、障害物が適用される空間の外側で実行されるので、A-CBOは、基礎となるモデルが変わらず、確実に収束する。 Corr2Causeでは、A-CBOはトレーニングなしで微調整されたベースラインにマッチする。 拡張Corr2Causeは18Kのテストサンプルで24変数にスケーリングする新しいベンチマークだが、A-CBOは微調整と選好の最適化の両方を著しく上回っている。

関連論文リスト

• Why Do Reasoning Models Lose Coverage? The Role of Data and Forks in the Road [26.088108937790167]
  本研究は,SFTをベースとしたポストトレーニングにおけるスリム化の原因について検討する。 設定中のトレーニング後のダイナミクスを追跡することで、縮小現象がトレーニングデータにおける意思決定シナリオの頻度と密接な相関があることが分かる。 本研究は,データ中心因子を推論モデルにおける縮小の鍵要因とみなし,その制御に有効なレバーとして多様性を考慮した設計を強調した。
  論文  参考訳（メタデータ） (2026-05-16T14:55:12Z)
• GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
  我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。 GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
  論文  参考訳（メタデータ） (2026-02-15T09:57:47Z)
• Causal Bayesian Optimization with Unknown Graphs [17.871251114630827]
  因果ベイズ最適化 (Causal Bayesian Optimization, CBO) は、目的とする介入を通じて既知の因果関係を利用して結果変数を最適化する手法である。 従来のCBO法では、完全に正確に定義された因果グラフが必要であり、そのようなグラフが未知の現実の多くのシナリオにおいて制限となる。 本稿では,因果グラフの事前知識のないCBOフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-25T11:14:37Z)
• DeCaFlow: A deconfounding causal generative model [48.86777554649186]
  本稿では,分解因果生成モデルであるDeCaFlowを紹介する。 DeCaFlowの単一インスタンスがdo-calculusで識別可能なすべての因果クエリに対して正しい推定値を提供することを示す。 多様な設定に関する実証的な結果は、DeCaFlowが既存のアプローチよりも優れており、任意の因果グラフに適用可能であることを示している。
  論文  参考訳（メタデータ） (2025-03-19T11:14:16Z)
• Causal Invariance Learning via Efficient Optimization of a Nonconvex Objective [12.423111378195667]
  本稿では,変数間の因果関係を求める新しい手法を提案する。 本手法は標準勾配法に収束することを示す。 我々のアルゴリズムは徹底的な探索を回避し、特に共変数が多ければなおさらである。
  論文  参考訳（メタデータ） (2024-12-16T15:11:02Z)
• Model-based Causal Bayesian Optimization [78.120734120667]
  モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。 標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
  論文  参考訳（メタデータ） (2022-11-18T14:28:21Z)
• Variational Causal Networks: Approximate Bayesian Inference over Causal Structures [132.74509389517203]
  離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。 実験では,提案した変分後部が真の後部を良好に近似できることを示した。
  論文  参考訳（メタデータ） (2021-06-14T17:52:49Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• An Analysis of the Adaptation Speed of Causal Models [80.77896315374747]
  最近、Bengioらは、すべての候補モデルの中で、$G$は、あるデータセットから別のデータセットに適応する最速のモデルであると推測した。 最適化からの収束率を用いた原因影響SCMの適応速度について検討する。 驚くべきことに、私たちは反因果モデルが有利である状況を見つけ、初期仮説を偽造する。
  論文  参考訳（メタデータ） (2020-05-18T23:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。