論文の概要: LLMs Are Prone to Fallacies in Causal Inference

• arxiv url: http://arxiv.org/abs/2406.12158v1
• Date: Tue, 18 Jun 2024 00:14:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 23:28:06.620876
• Title: LLMs Are Prone to Fallacies in Causal Inference
• Title（参考訳）: LLMは因果推論で誤認しがち
• Authors: Nitish Joshi, Abulhair Saparov, Yixin Wang, He He,
• Abstract要約: 近年の研究では, LLMから因果事実を効果的に抽出できることが示されている。 本研究は、モデルが記憶できる事前学習データにおいて、この成功が明示的に記述された因果事実に限られているかどうかを考察する。
• 参考スコア（独自算出の注目度）: 33.9881589703843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work shows that causal facts can be effectively extracted from LLMs through prompting, facilitating the creation of causal graphs for causal inference tasks. However, it is unclear if this success is limited to explicitly-mentioned causal facts in the pretraining data which the model can memorize. Thus, this work investigates: Can LLMs infer causal relations from other relational data in text? To disentangle the role of memorized causal facts vs inferred causal relations, we finetune LLMs on synthetic data containing temporal, spatial and counterfactual relations, and measure whether the LLM can then infer causal relations. We find that: (a) LLMs are susceptible to inferring causal relations from the order of two entity mentions in text (e.g. X mentioned before Y implies X causes Y); (b) if the order is randomized, LLMs still suffer from the post hoc fallacy, i.e. X occurs before Y (temporal relation) implies X causes Y. We also find that while LLMs can correctly deduce the absence of causal relations from temporal and spatial relations, they have difficulty inferring causal relations from counterfactuals, questioning their understanding of causality.
• Abstract（参考訳）: 最近の研究は、因果的事実を LLM から効果的に抽出できることを示し、因果的推論タスクのための因果的グラフの作成を容易にする。 しかし、この成功がモデルが記憶できる事前学習データにおいて、明示的に記述された因果事実に限られているかどうかは不明である。 LLMはテキスト内の他の関係データから因果関係を推測できるのか? 因果関係における記憶的因果関係と推定的因果関係を関連づけるために, 時間的・空間的・反事実関係を含む合成データにLLMを微調整し, 因果関係を推測できるかどうかを測定する。 以下に示す。 (a) LLM は、テキスト中の2つの実体の言及の順序から因果関係を推測することができる(例えば、Y の前に述べた X が X の原因 Y である)。 b) 順序がランダム化されている場合、LLMは依然としてポストホックの誤認に悩まされ、すなわち、X が Y を引き起こす前に生じる X は X を引き起こすことを示唆する。

関連論文リスト

• Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
  本研究では,大言語モデル(LLM)の因果推論能力について,物語から因果関係を推定する代表的な問題から検討する。 最新の言語モデルでさえ、物語の提示とパラメトリック知識の両方において、信頼できないショートカットに依存していることがわかった。
  論文  参考訳（メタデータ） (2024-10-31T12:48:58Z)
• Counterfactual Causal Inference in Natural Language with Large Language Models [9.153187514369849]
  本稿では,自然言語からの因果構造発見と因果推論手法を提案する。 まず LLM を用いてテキストデータからインスタンス化された因果変数を抽出し,因果グラフを構築する。 次に、推定されたグラフに対して反実数推論を行う。
  論文  参考訳（メタデータ） (2024-10-08T21:53:07Z)
• From Pre-training Corpora to Large Language Models: What Factors Influence LLM Performance in Causal Discovery Tasks? [51.42906577386907]
  本研究では,因果発見タスクにおけるLarge Language Models(LLM)の性能に影響を与える要因について検討する。 因果関係の頻度が高いことは、より良いモデル性能と相関し、トレーニング中に因果関係の情報に広範囲に暴露することで、因果関係の発見能力を高めることを示唆している。
  論文  参考訳（メタデータ） (2024-07-29T01:45:05Z)
• Zero-shot Causal Graph Extrapolation from Text via LLMs [50.596179963913045]
  我々は,自然言語から因果関係を推定する大規模言語モデル (LLM) の能力を評価する。 LLMは、(特別な)トレーニングサンプルを必要とせずにペア関係のベンチマークで競合性能を示す。 我々は、反復的なペアワイズクエリを通して因果グラフを外挿するアプローチを拡張した。
  論文  参考訳（メタデータ） (2023-12-22T13:14:38Z)
• CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
  我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。 ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
  論文  参考訳（メタデータ） (2023-12-07T15:12:12Z)
• Can We Utilize Pre-trained Language Models within Causal Discovery Algorithms? [0.2303687191203919]
  事前学習言語モデル(PLM)の因果推論は、テキストベースの記述にのみ依存する。 PLMから得られた事前知識を因果探索アルゴリズムと統合する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-19T03:31:30Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Causal Reasoning and Large Language Models: Opening a New Frontier for Causality [29.433401785920065]
  大規模言語モデル(LLM)は、高い確率で因果引数を生成することができる。 LLMは人間のドメインの専門家によって因果解析のセットアップの労力を節約するために使われる。
  論文  参考訳（メタデータ） (2023-04-28T19:00:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。