論文の概要: Causal Parrots: Large Language Models May Talk Causality But Are Not
Causal
- arxiv url: http://arxiv.org/abs/2308.13067v1
- Date: Thu, 24 Aug 2023 20:23:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 15:50:27.006826
- Title: Causal Parrots: Large Language Models May Talk Causality But Are Not
Causal
- Title(参考訳): 因果オウム: 大きな言語モデルでは因果性は話されるが因果性ではない
- Authors: Matej Ze\v{c}evi\'c and Moritz Willig and Devendra Singh Dhami and
Kristian Kersting
- Abstract要約: 大規模言語モデル(LLM)が因果関係にはならないことを明確にし、なぜそうでないと感じるのかを理由づける。
LLMが因果推論に成功している場合には,それぞれのメタSCMが基礎となると推測した。
我々の仮説が正しければ、LLMはデータに埋め込まれた因果的知識を単に引用するオウムのように見える。
- 参考スコア(独自算出の注目度): 24.025116931689606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Some argue scale is all what is needed to achieve AI, covering even causal
models. We make it clear that large language models (LLMs) cannot be causal and
give reason onto why sometimes we might feel otherwise. To this end, we define
and exemplify a new subgroup of Structural Causal Model (SCM) that we call meta
SCM which encode causal facts about other SCM within their variables. We
conjecture that in the cases where LLM succeed in doing causal inference,
underlying was a respective meta SCM that exposed correlations between causal
facts in natural language on whose data the LLM was ultimately trained. If our
hypothesis holds true, then this would imply that LLMs are like parrots in that
they simply recite the causal knowledge embedded in the data. Our empirical
analysis provides favoring evidence that current LLMs are even weak `causal
parrots.'
- Abstract(参考訳): スケールはAIを実現するために必要なすべてであり、因果モデルまでもカバーしている、という主張もある。
大規模言語モデル(LLM)が因果関係にはならないことを明確にし、なぜそうでないと感じるのかを理由づける。
この目的のために、我々はメタSCMと呼ぶ構造因果モデル(SCM)の新たなサブグループを定義し、その変数内の他のSCMに関する因果事実を符号化する。
LLMが因果推論に成功している場合には、LLMが最終的に訓練された自然言語における因果事実間の相関を明らかにするメタSCMが基礎となっていると推測した。
もし我々の仮説が正しいなら、llmはデータに埋め込まれた因果知識を単に暗唱する点で、オウムのようなものであることを暗示します。
我々の経験的分析は、現在のLSMがさらに弱い「因果オウム」であることを示す証拠を提供する。
'
関連論文リスト
- LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。
文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。
この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
論文 参考訳(メタデータ) (2024-04-09T13:08:56Z) - LLMs with Chain-of-Thought Are Non-Causal Reasoners [34.18612597843633]
我々は,大規模言語モデルにおけるCoT/インストラクションと回答の因果関係を評価するために因果解析を用いる。
インプリードSCMと人間の推論とを比較することで,LLMと人間の推論プロセスの相違点を浮き彫りにする。
文脈内学習、教師付き微調整、人間のフィードバックに対する強化学習は因果関係に大きな影響を及ぼす。
論文 参考訳(メタデータ) (2024-02-25T10:13:04Z) - Is Knowledge All Large Language Models Needed for Causal Reasoning? [12.898859965556698]
本稿では,大規模言語モデル(LLM)の因果推論について,人工知能の進化における解釈可能性と信頼性を高めるために検討する。
本稿では,「do-operators」を用いた新たな因果帰属モデルを提案する。
論文 参考訳(メタデータ) (2023-12-30T04:51:46Z) - CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。
ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
論文 参考訳(メタデータ) (2023-12-07T15:12:12Z) - Are Large Language Models Temporally Grounded? [38.481606493496514]
文章を記述したLarge Language Model (LLM) を提供する。
イベントの構造と持続時間に関する常識的な知識に関して、それらを調査する。
これらの能力を反映した3つの課題に対して,最先端のLCMを評価した。
論文 参考訳(メタデータ) (2023-11-14T18:57:15Z) - Do Large Language Models Know about Facts? [60.501902866946]
大規模言語モデル(LLM)は、最近、さまざまな自然言語処理タスクにおいて、大幅なパフォーマンス改善を推進している。
我々は,ベンチマークPinocchioを設計し,LLM内の事実知識の範囲と範囲を評価することを目的とする。
Pinocchioには、異なるソース、タイムライン、ドメイン、リージョン、言語にまたがる20万のさまざまな事実質問が含まれている。
論文 参考訳(メタデータ) (2023-10-08T14:26:55Z) - DoLa: Decoding by Contrasting Layers Improves Factuality in Large
Language Models [79.01926242857613]
大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。
事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。
コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
論文 参考訳(メタデータ) (2023-09-07T17:45:31Z) - Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。
相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。
これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-09T12:09:15Z) - Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか?
LLMの事実知識を評価する統計的手法であるKaRRを提案する。
この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
論文 参考訳(メタデータ) (2023-05-17T18:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。