論文の概要: Causal Reasoning and Large Language Models: Opening a New Frontier for
Causality
- arxiv url: http://arxiv.org/abs/2305.00050v2
- Date: Mon, 8 May 2023 17:54:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 20:09:25.206532
- Title: Causal Reasoning and Large Language Models: Opening a New Frontier for
Causality
- Title(参考訳): 因果推論と大規模言語モデル: 因果関係の新しいフロンティアを開く
- Authors: Emre K{\i}c{\i}man and Robert Ness and Amit Sharma and Chenhao Tan
- Abstract要約: 大規模言語モデル(LLM)は、特に高度なシナリオにおいて、それらの推論を形式化し、検証し、伝達するために使用することができる。
LLMは、収集された知識を使用して因果グラフを生成したり、自然言語から背景因果コンテキストを識別したりといった、人間に制限される能力をもたらす。
我々は、従来の因果解析手法とともに、人間のドメイン知識のプロキシとして、そして因果解析を構築する際の人的労力を減らすために、LSMを使用することを想定する。
- 参考スコア(独自算出の注目度): 22.00533107457377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The causal capabilities of large language models (LLMs) is a matter of
significant debate, with critical implications for the use of LLMs in
societally impactful domains such as medicine, science, law, and policy. We
further our understanding of LLMs and their causal implications, considering
the distinctions between different types of causal reasoning tasks, as well as
the entangled threats of construct and measurement validity. LLM-based methods
establish new state-of-the-art accuracies on multiple causal benchmarks.
Algorithms based on GPT-3.5 and 4 outperform existing algorithms on a pairwise
causal discovery task (97%, 13 points gain), counterfactual reasoning task
(92%, 20 points gain), and actual causality (86% accuracy in determining
necessary and sufficient causes in vignettes). At the same time, LLMs exhibit
unpredictable failure modes and we provide some techniques to interpret their
robustness.
Crucially, LLMs perform these causal tasks while relying on sources of
knowledge and methods distinct from and complementary to non-LLM based
approaches. Specifically, LLMs bring capabilities so far understood to be
restricted to humans, such as using collected knowledge to generate causal
graphs or identifying background causal context from natural language. We
envision LLMs to be used alongside existing causal methods, as a proxy for
human domain knowledge and to reduce human effort in setting up a causal
analysis, one of the biggest impediments to the widespread adoption of causal
methods. We also see existing causal methods as promising tools for LLMs to
formalize, validate, and communicate their reasoning especially in high-stakes
scenarios.
In capturing common sense and domain knowledge about causal mechanisms and
supporting translation between natural language and formal methods, LLMs open
new frontiers for advancing the research, practice, and adoption of causality.
- Abstract(参考訳): 大規模言語モデル(LLM)の因果的能力は、医学、科学、法学、政策といった社会的に影響力のある領域におけるLLMの使用に重要な意味を持つ重要な議論である。
我々は,LLMとその因果関係の理解を深め,異なるタイプの因果推論タスクの区別や,構造と測定の妥当性の絡み合った脅威を考慮する。
LLMに基づく手法は、複数の因果ベンチマーク上で新しい最先端の精度を確立する。
GPT-3.5と4に基づくアルゴリズムは、ペアワイズ因果発見タスク(97%、13ポイントゲイン)、反ファクト因果推論タスク(92%、20ポイントゲイン)、実際の因果性(86%の正確性)において、既存のアルゴリズムよりも優れている。
同時に、LLMは予測不可能な障害モードを示し、その堅牢性を理解するためのいくつかのテクニックを提供する。
重要なことは、LLMはこれらの因果的タスクを、LLMをベースとしないアプローチとは異なる知識や手法のソースに依存しながら実行する。
具体的には、LLMは、収集された知識を使用して因果グラフを生成したり、自然言語から背景因果コンテキストを識別したりといった、人間に限定された能力をもたらす。
我々は、従来の因果的手法とともに、人間のドメイン知識のプロキシとして、また、因果的手法の普及に最も大きな障害である因果的分析を構築する際の人的労力を減らすために、LSMを使用することを想定している。
また、既存の因果的手法は、特に高いシナリオにおいて、LSMが推論を形式化し、検証し、伝達するための有望なツールであると考えている。
因果的メカニズムに関する常識やドメイン知識を捉え、自然言語と形式的手法間の翻訳を支援することで、LLMは因果性の研究、実践、導入を促進するための新たなフロンティアを開拓する。
関連論文リスト
- FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - From Understanding to Utilization: A Survey on Explainability for Large
Language Models [27.295767173801426]
この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。
主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。
説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
論文 参考訳(メタデータ) (2024-01-23T16:09:53Z) - Caught in the Quicksand of Reasoning, Far from AGI Summit: Evaluating
LLMs' Mathematical and Coding Competency through Ontology-guided
Interventions [50.68293377521595]
大規模言語モデル(LLM)は論理的推論ベンチマークで顕著な結果を示した。
算術的推論とコード生成という,2つの一般的な推論タスクに注目します。
質問に対して、すべてのモデルで大幅なパフォーマンス低下を見せています。
論文 参考訳(メタデータ) (2024-01-17T18:13:07Z) - Is Knowledge All Large Language Models Needed for Causal Reasoning? [12.898859965556698]
本稿では,大規模言語モデル(LLM)の因果推論について,人工知能の進化における解釈可能性と信頼性を高めるために検討する。
本稿では,「do-operators」を用いた新たな因果帰属モデルを提案する。
論文 参考訳(メタデータ) (2023-12-30T04:51:46Z) - CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。
ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
論文 参考訳(メタデータ) (2023-12-07T15:12:12Z) - Can We Utilize Pre-trained Language Models within Causal Discovery
Algorithms? [0.2303687191203919]
事前学習言語モデル(PLM)の因果推論は、テキストベースの記述にのみ依存する。
PLMから得られた事前知識を因果探索アルゴリズムと統合する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-19T03:31:30Z) - A Closer Look at the Self-Verification Abilities of Large Language
Models in Logical Reasoning [79.14479982371984]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳(メタデータ) (2023-11-14T07:13:10Z) - Learning To Teach Large Language Models Logical Reasoning [33.88499005859982]
大規模言語モデル(LLM)は、学術と産業の両方から大きな注目を集めている。
しかし、現在のLLMは、その固有の問題のために、実用的な推論タスクにおいて信頼性の低いコンテンツを出力している。
論文 参考訳(メタデータ) (2023-10-13T14:53:06Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳(メタデータ) (2023-10-11T14:18:03Z) - From Query Tools to Causal Architects: Harnessing Large Language Models
for Advanced Causal Discovery from Data [19.264745484010106]
大規模言語モデル (LLM) は、多くの社会的影響のある領域における概念間の因果解析の優れた能力を示す。
様々な因果発見および推論タスクにおけるLLM性能に関する最近の研究は、因果関係の古典的な3段階の枠組みに新たなはしごを生じさせている。
本稿では,知識に基づくLLM因果解析とデータ駆動因果構造学習を組み合わせた新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-06-29T12:48:00Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳(メタデータ) (2023-05-23T04:10:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。