論文の概要: Causal Reasoning in Pieces: Modular In-Context Learning for Causal Discovery
- arxiv url: http://arxiv.org/abs/2507.23488v1
- Date: Thu, 31 Jul 2025 12:10:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-01 17:19:09.731338
- Title: Causal Reasoning in Pieces: Modular In-Context Learning for Causal Discovery
- Title（参考訳）: ピースにおける因果推論:因果発見のためのモジュール型インコンテキスト学習
- Authors: Kacper Kadziolka, Saber Salehkaleybar,
- Abstract要約: 因果推論は依然として大きな言語モデルにとって根本的な課題である。
大規模言語モデルによる内部推論の最近の進歩は、関心を喚起している。
我々はOpenAIのo-seriesとDeepSeek-Rモデルファミリを用いたCorr2Causeベンチマークの因果発見について検討した。
- 参考スコア（独自算出の注目度）: 6.72184534513047
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Causal inference remains a fundamental challenge for large language models. Recent advances in internal reasoning with large language models have sparked interest in whether state-of-the-art reasoning models can robustly perform causal discovery-a task where conventional models often suffer from severe overfitting and near-random performance under data perturbations. We study causal discovery on the Corr2Cause benchmark using the emergent OpenAI's o-series and DeepSeek-R model families and find that these reasoning-first architectures achieve significantly greater native gains than prior approaches. To capitalize on these strengths, we introduce a modular in-context pipeline inspired by the Tree-of-Thoughts and Chain-of-Thoughts methodologies, yielding nearly three-fold improvements over conventional baselines. We further probe the pipeline's impact by analyzing reasoning chain length, complexity, and conducting qualitative and quantitative comparisons between conventional and reasoning models. Our findings suggest that while advanced reasoning models represent a substantial leap forward, carefully structured in-context frameworks are essential to maximize their capabilities and offer a generalizable blueprint for causal discovery across diverse domains.
- Abstract（参考訳）: 因果推論は依然として大きな言語モデルにとって根本的な課題である。
大規模言語モデルを用いた内部推論の最近の進歩は、最先端の推論モデルが因果発見を堅牢に行うことができるかどうかという関心を喚起している。
The Corr2Cause benchmark using the emergent OpenAI's o-series and DeepSeek-R model family, and found that these reasoning-first architectures achieve significantly greater native gains than previous approach。
これらの長所を活かすため,従来のベースラインよりも3倍近く改善され,Tree-of-Thoughts法とChain-of-Thoughts法にインスパイアされたモジュール型インコンテキストパイプラインを導入する。
さらに,従来の推論モデルと推論モデルとの定性的,定量的な比較を行い,推論チェーン長,複雑性,パイプラインの影響を解明する。
本研究は,高度な推論モデルが飛躍的な進歩を示す一方で,その能力を最大限に活用し,多様な領域にまたがる因果発見のための一般化可能な青写真を提供するために,注意深く構造化された文脈内フレームワークが不可欠であることを示唆している。
関連論文リスト
- From Thinking to Output: Chain-of-Thought and Text Generation Characteristics in Reasoning Language Models [10.38327947136263]
本稿では、4つの最先端大推論モデルの推論特性を解析するための新しい枠組みを提案する。
多様なデータセットは、論理的推論、因果推論、多段階問題解決を含む実世界のシナリオベースの質問で構成されている。
この研究結果は、これらのモデルがどのように探索と搾取のバランスをとり、問題に対処し、結論に達するかについて様々なパターンを明らかにする。
論文 参考訳（メタデータ） (2025-06-20T14:02:16Z) - Discovering Hierarchical Latent Capabilities of Language Models via Causal Representation Learning [22.32435186013626]
本稿では,いくつかの潜在能力因子の線形変換としてベンチマーク性能をモデル化した因果表現学習フレームワークを提案する。
このアプローチを6つのベンチマークで評価された1500以上のモデルを含む包括的データセットに適用することにより、観測された性能変動を確実に説明できる簡潔な3ノード線形因果構造を同定する。
論文 参考訳（メタデータ） (2025-06-12T06:07:42Z) - Preference Learning for AI Alignment: a Causal Perspective [55.2480439325792]
私たちはこの問題を因果パラダイムに枠組み化し、永続的な課題を特定するための因果関係の豊富なツールボックスを提供します。
因果推論の文献を継承し、信頼性の高い一般化に必要な重要な仮定を特定する。
そこで本研究では, 因果関係に基づくアプローチがモデルロバスト性をいかに改善するかを, ナイーブ報酬モデルの障害モードを例示する。
論文 参考訳（メタデータ） (2025-06-06T10:45:42Z) - A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [53.18562650350898]
思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。
大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
論文 参考訳（メタデータ） (2025-05-29T18:55:05Z) - Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。
モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。
因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
論文 参考訳（メタデータ） (2025-02-07T17:01:37Z) - Differentiable Causal Discovery For Latent Hierarchical Causal Models [19.373348700715578]
非線形潜在階層因果モデルの同定可能性に関する新しい理論的結果を示す。
我々は,そのようなモデルの構造を効率的に推定する,新しい微分可能な因果探索アルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-11-29T09:08:20Z) - Fine-Grained Causal Dynamics Learning with Quantization for Improving Robustness in Reinforcement Learning [26.34622544479565]
因果ダイナミクス学習は、強化学習における堅牢性を高めるための有望なアプローチである。
本稿では,微粒な因果構造を推定し,それらを予測に利用する新しいモデルを提案する。
論文 参考訳（メタデータ） (2024-06-05T13:13:58Z) - Distributional Associations vs In-Context Reasoning: A Study of Feed-forward and Attention Layers [49.80959223722325]
本研究では,大規模言語モデルにおけるフィードフォワード層とアテンション層との区別について検討する。
フィードフォワード層はビッグラムのような単純な分布関係を学習する傾向があり、注意層は文脈内推論にフォーカスする。
論文 参考訳（メタデータ） (2024-06-05T08:51:08Z) - Towards CausalGPT: A Multi-Agent Approach for Faithful Knowledge Reasoning via Promoting Causal Consistency in LLMs [55.66353783572259]
Causal-Consistency Chain-of-Thoughtは、基礎モデルの忠実さと因果性を強化するために、マルチエージェントコラボレーションを活用する。
我々のフレームワークは、広範囲かつ包括的な評価を通じて、最先端の手法よりも大きな優位性を示す。
論文 参考訳（メタデータ） (2023-08-23T04:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。