論文の概要: Assessing LLM Reasoning Through Implicit Causal Chain Discovery in Climate Discourse
- arxiv url: http://arxiv.org/abs/2510.13417v1
- Date: Wed, 15 Oct 2025 11:15:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-16 20:13:28.637412
- Title: Assessing LLM Reasoning Through Implicit Causal Chain Discovery in Climate Discourse
- Title(参考訳): 気候談話における因果連鎖発見によるLLM推論の評価
- Authors: Liesbeth Allein, Nataly Pineda-Castañeda, Andrea Rocci, Marie-Francine Moens,
- Abstract要約: この研究は、大規模言語モデルの機械的因果推論能力を精査する。
我々は、因果連鎖構造において与えられた因果関係をリンクする全ての中間因果ステップを生成する。
- 参考スコア(独自算出の注目度): 22.71538103040959
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How does a cause lead to an effect, and which intermediate causal steps explain their connection? This work scrutinizes the mechanistic causal reasoning capabilities of large language models (LLMs) to answer these questions through the task of implicit causal chain discovery. In a diagnostic evaluation framework, we instruct nine LLMs to generate all possible intermediate causal steps linking given cause-effect pairs in causal chain structures. These pairs are drawn from recent resources in argumentation studies featuring polarized discussion on climate change. Our analysis reveals that LLMs vary in the number and granularity of causal steps they produce. Although they are generally self-consistent and confident about the intermediate causal connections in the generated chains, their judgments are mainly driven by associative pattern matching rather than genuine causal reasoning. Nonetheless, human evaluations confirmed the logical coherence and integrity of the generated chains. Our baseline causal chain discovery approach, insights from our diagnostic evaluation, and benchmark dataset with causal chains lay a solid foundation for advancing future work in implicit, mechanistic causal reasoning in argumentation settings.
- Abstract(参考訳): 原因はどのようにして影響をもたらし、どの中間因果ステップがそれらの関係を説明するのか?
この研究は、大きな言語モデル(LLM)の機械的因果推論能力を精査し、暗黙的な因果連鎖発見のタスクを通じてこれらの質問に答える。
診断評価フレームワークでは, 因果連鎖構造における因果関係をリンクするすべての中間因果関係のステップを生成するために, 9個のLSMを指示する。
これらのペアは、気候変動に関する偏極的な議論を特徴とする議論研究において、近年の資源から引き出されたものである。
解析の結果,LLMは生成する因果ステップの数や粒度によって異なることが明らかとなった。
それらは概して自己整合性があり、生成鎖の中間因果関係に自信を持っているが、その判断は主に真の因果関係ではなく連想パターンマッチングによって引き起こされる。
それでも人間の評価は、生成された鎖の論理的コヒーレンスと整合性を確認した。
我々の基準因果連鎖発見アプローチ、診断評価からの洞察、因果連鎖を用いたベンチマークデータセットは、議論設定における暗黙的、機械的因果関係の推論において、将来の作業を進めるための確かな基盤となる。
関連論文リスト
- ChainReaction! Structured Approach with Causal Chains as Intermediate Representations for Improved and Explainable Causal Video Question Answering [13.950975794272603]
応答生成から因果推論を明示的に分離する新しい枠組みを提案する。
人間の認知モデルにインスパイアされた構造化因果関係は、低レベルの映像コンテンツを高レベルの因果推論で橋渡しする。
また,因果性指向のキャプション評価指標であるCauCoを提案する。
論文 参考訳(メタデータ) (2025-08-28T17:10:53Z) - Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
世界の知識と論理的推論の相互作用について検討する。
最先端の大規模言語モデル(LLM)は、しばしば表面的な一般化に依存している。
タスクの単純な再構成により、より堅牢な推論行動が引き起こされることを示す。
論文 参考訳(メタデータ) (2024-10-31T12:48:58Z) - CSCE: Boosting LLM Reasoning by Simultaneous Enhancing of Causal Significance and Consistency [11.144164626192904]
チェーン・オブ・シンキング(CoT)のような連鎖型手法は、大規模言語モデル(LLM)の推論タスクの解決において、その役割を担っている。
本稿では、因果的重要性と一貫性を同時に考慮する非チェーン型推論フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-20T08:28:23Z) - On the Reliability of Large Language Models for Causal Discovery [55.94868919310357]
本研究では,因果発見におけるLarge Language Models(LLMs)の有効性について検討した。
我々は,新たに利用可能なオープンソースLLM,OLMo,BLOOMを用いて,事前学習コーパスへのアクセスを行う。
i) 正確な因果関係予測のための暗記の影響, (ii) 事前学習データにおける誤った因果関係の影響, (iii) LLMの因果関係に対する理解に影響を与える文脈的ニュアンスについて検討した。
論文 参考訳(メタデータ) (2024-07-29T01:45:05Z) - Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。
このアプローチは、正しい答えが少数派である場合に失敗する。
階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
論文 参考訳(メタデータ) (2024-05-21T17:12:19Z) - How Likely Do LLMs with CoT Mimic Human Reasoning? [31.86489714330338]
大規模言語モデル(LLM)から推論能力を引き出すための有望な手法として思考の連鎖が出現する
我々は,LLMにおける問題指導,推論,解答の関係を理解するために因果解析を用いる。
論文 参考訳(メタデータ) (2024-02-25T10:13:04Z) - Towards CausalGPT: A Multi-Agent Approach for Faithful Knowledge Reasoning via Promoting Causal Consistency in LLMs [55.66353783572259]
Causal-Consistency Chain-of-Thoughtは、基礎モデルの忠実さと因果性を強化するために、マルチエージェントコラボレーションを活用する。
我々のフレームワークは、広範囲かつ包括的な評価を通じて、最先端の手法よりも大きな優位性を示す。
論文 参考訳(メタデータ) (2023-08-23T04:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。