論文の概要: CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs
- arxiv url: http://arxiv.org/abs/2404.06349v2
- Date: Fri, 27 Sep 2024 11:45:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 03:26:10.475077
- Title: CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs
- Title（参考訳）: CausalBench: LLMの因果学習能力に関する総合ベンチマーク
- Authors: Yu Zhou, Xingyu Wu, Beicheng Huang, Jibin Wu, Liang Feng, Kay Chen Tan,
- Abstract要約: 因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
- 参考スコア（独自算出の注目度）: 27.362012903540492
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to understand causality significantly impacts the competence of large language models (LLMs) in output explanation and counterfactual reasoning, as causality reveals the underlying data distribution. However, the lack of a comprehensive benchmark currently limits the evaluation of LLMs' causal learning capabilities. To fill this gap, this paper develops CausalBench based on data from the causal research community, enabling comparative evaluations of LLMs against traditional causal learning algorithms. To provide a comprehensive investigation, we offer three tasks of varying difficulties, including correlation, causal skeleton, and causality identification. Evaluations of 19 leading LLMs reveal that, while closed-source LLMs show potential for simple causal relationships, they significantly lag behind traditional algorithms on larger-scale networks ($>50$ nodes). Specifically, LLMs struggle with collider structures but excel at chain structures, especially at long-chain causality analogous to Chains-of-Thought techniques. This supports the current prompt approaches while suggesting directions to enhance LLMs' causal reasoning capability. Furthermore, CausalBench incorporates background knowledge and training data into prompts to thoroughly unlock LLMs' text-comprehension ability during evaluation, whose findings indicate that, LLM understand causality through semantic associations with distinct entities, rather than directly from contextual information or numerical distributions.
- Abstract（参考訳）: 因果性を理解する能力は、大言語モデル(LLM)の出力説明と反ファクト推論の能力に大きな影響を与え、因果性は基礎となるデータ分布を明らかにする。
しかし、総合的なベンチマークがないため、LLMの因果学習能力の評価は制限されている。
このギャップを埋めるために,従来の因果学習アルゴリズムとの比較評価を可能にするために,因果研究コミュニティのデータに基づくCausalBenchを開発した。
包括的調査として,相関性,因果骨格,因果同定の3つの課題について検討した。
19のLLMの評価によると、クローズドソースのLCMは単純な因果関係の可能性を秘めているが、大規模ネットワーク(50ドル以下のノード)では従来のアルゴリズムにかなり遅れている。
具体的には、LLMはコライダー構造に苦しむが、チェーン構造、特にチェーンの長鎖因果関係において優れている。
これは、LLMの因果推論能力を高める方向を示唆しながら、現在のプロンプトアプローチをサポートする。
さらに、CausalBenchは背景知識とトレーニングデータを、LLMが文脈情報や数値分布から直接ではなく、異なる実体とのセマンティックアソシエーションを通じて因果関係を理解していることを示す評価中に、LLMのテキスト理解能力を徹底的に解き放つプロンプトに組み入れている。
関連論文リスト
- Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
因果表現学習を大規模言語モデルと統合する枠組みを提案する。
このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。
本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
論文 参考訳（メタデータ） (2024-10-25T18:36:37Z) - From Pre-training Corpora to Large Language Models: What Factors Influence LLM Performance in Causal Discovery Tasks? [51.42906577386907]
本研究では,因果発見タスクにおけるLarge Language Models(LLM)の性能に影響を与える要因について検討する。
因果関係の頻度が高いことは、より良いモデル性能と相関し、トレーニング中に因果関係の情報に広範囲に暴露することで、因果関係の発見能力を高めることを示唆している。
論文 参考訳（メタデータ） (2024-07-29T01:45:05Z) - How Likely Do LLMs with CoT Mimic Human Reasoning? [31.86489714330338]
CoT(Chain-of-Thought)は,Large Language Models(LLMs)から推論能力を引き出すための,有望なテクニックとして登場した。
本稿では,LLMの推論過程を人間と比較することにより,その基盤となるメカニズムを診断する。
実験により, LLMは因果連鎖から逸脱することが多く, 相関関係や潜在的な整合性誤差が生じることが判明した。
論文 参考訳（メタデータ） (2024-02-25T10:13:04Z) - Causal Graph Discovery with Retrieval-Augmented Generation based Large Language Models [23.438388321411693]
因果グラフの回復は、伝統的に統計的推定に基づく手法や、興味のある変数に関する個人の知識に基づいて行われる。
本稿では,大言語モデル(LLM)を利用して,一般的な因果グラフ復元タスクにおける因果関係を推定する手法を提案する。
論文 参考訳（メタデータ） (2024-02-23T13:02:10Z) - Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳（メタデータ） (2024-02-17T05:22:56Z) - Is Knowledge All Large Language Models Needed for Causal Reasoning? [11.476877330365664]
本稿では,大規模言語モデル(LLM)の因果推論について,人工知能の進化における解釈可能性と信頼性を高めるために検討する。
本稿では,do-operativesを利用した新たな因果帰属モデルを提案する。
論文 参考訳（メタデータ） (2023-12-30T04:51:46Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳（メタデータ） (2023-10-11T14:18:03Z) - Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
本稿では,文書を動的に活用するための簡易な手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T16:46:10Z) - From Query Tools to Causal Architects: Harnessing Large Language Models
for Advanced Causal Discovery from Data [19.264745484010106]
大規模言語モデル (LLM) は、多くの社会的影響のある領域における概念間の因果解析の優れた能力を示す。
様々な因果発見および推論タスクにおけるLLM性能に関する最近の研究は、因果関係の古典的な3段階の枠組みに新たなはしごを生じさせている。
本稿では,知識に基づくLLM因果解析とデータ駆動因果構造学習を組み合わせた新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-06-29T12:48:00Z) - Causal Reasoning and Large Language Models: Opening a New Frontier for Causality [29.433401785920065]
大規模言語モデル(LLM)は、高い確率で因果引数を生成することができる。
LLMは人間のドメインの専門家によって因果解析のセットアップの労力を節約するために使われる。
論文 参考訳（メタデータ） (2023-04-28T19:00:43Z) - Search-in-the-Chain: Interactively Enhancing Large Language Models with
Search for Knowledge-intensive Tasks [121.74957524305283]
本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。
実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
論文 参考訳（メタデータ） (2023-04-28T10:15:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。