論文の概要: Can We Utilize Pre-trained Language Models within Causal Discovery
Algorithms?
- arxiv url: http://arxiv.org/abs/2311.11212v1
- Date: Sun, 19 Nov 2023 03:31:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 21:30:42.190134
- Title: Can We Utilize Pre-trained Language Models within Causal Discovery
Algorithms?
- Title（参考訳）: 因果探索アルゴリズムにおける事前学習言語モデルの利用は可能か?
- Authors: Chanhui Lee (1), Juhyeon Kim (2), Yongjun Jeong (3), Juhyun Lyu (4),
Junghee Kim (4), Sangmin Lee (4), Sangjun Han (4), Hyeokjun Choe (4), Soyeon
Park (4), Woohyung Lim (4), Sungbin Lim (5,6), Sanghack Lee (2,7) ((1)
Department of Artificial Intelligence, Korea University, (2) Graduate School
of Data Science, Seoul National University, (3) Department of Computer
Science and Engineering, UNIST, (4) Data Intelligence Laboratory, LG AI
Research, (5) Department of Statistics, Korea University, (6) LG AI Research,
(7) SNU-LG AI Research Center)
- Abstract要約: 事前学習言語モデル(PLM)の因果推論は、テキストベースの記述にのみ依存する。
PLMから得られた事前知識を因果探索アルゴリズムと統合する新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.2303687191203919
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scaling laws have allowed Pre-trained Language Models (PLMs) into the field
of causal reasoning. Causal reasoning of PLM relies solely on text-based
descriptions, in contrast to causal discovery which aims to determine the
causal relationships between variables utilizing data. Recently, there has been
current research regarding a method that mimics causal discovery by aggregating
the outcomes of repetitive causal reasoning, achieved through specifically
designed prompts. It highlights the usefulness of PLMs in discovering cause and
effect, which is often limited by a lack of data, especially when dealing with
multiple variables. Conversely, the characteristics of PLMs which are that PLMs
do not analyze data and they are highly dependent on prompt design leads to a
crucial limitation for directly using PLMs in causal discovery. Accordingly,
PLM-based causal reasoning deeply depends on the prompt design and carries out
the risk of overconfidence and false predictions in determining causal
relationships. In this paper, we empirically demonstrate the aforementioned
limitations of PLM-based causal reasoning through experiments on
physics-inspired synthetic data. Then, we propose a new framework that
integrates prior knowledge obtained from PLM with a causal discovery algorithm.
This is accomplished by initializing an adjacency matrix for causal discovery
and incorporating regularization using prior knowledge. Our proposed framework
not only demonstrates improved performance through the integration of PLM and
causal discovery but also suggests how to leverage PLM-extracted prior
knowledge with existing causal discovery algorithms.
- Abstract（参考訳）: スケーリング法は、事前訓練された言語モデル(PLM)を因果推論の分野に導入することを許している。
PLMの因果推論は、データを利用した変数間の因果関係を決定することを目的とした因果発見とは対照的に、テキストベースの記述にのみ依存する。
近年,特別に設計されたプロンプトにより,反復的因果推論の結果を集約して因果発見を模倣する手法が研究されている。
原因と効果の発見におけるPLMの有用性を強調しており、特に複数の変数を扱う場合、データ不足によって制限されることが多い。
逆に、PLMはデータを解析せず、迅速な設計に大きく依存しているというPLMの特徴は、因果発見にPLMを直接使用する上で重要な制限となる。
したがって、plmに基づく因果推論は、素早い設計に深く依存し、因果関係を決定する際に過剰信頼と誤った予測のリスクを負う。
本稿では,物理に着想を得た合成データの実験を通して,前述のPLMに基づく因果推論の限界を実証的に示す。
そこで本研究では,plmから得られた知識を因果発見アルゴリズムと統合する新しいフレームワークを提案する。
これは因果発見のための隣接行列を初期化し、事前知識を用いた正規化を組み込むことによって達成される。
提案手法は, PLMと因果発見の統合による性能向上を実証するだけでなく, PLMから抽出した事前知識を既存の因果発見アルゴリズムで活用する方法も提案する。
関連論文リスト
- Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
本研究では,大言語モデル(LLM)の因果推論能力について,物語から因果関係を推定する代表的な問題から検討する。
最新の言語モデルでさえ、物語の提示とパラメトリック知識の両方において、信頼できないショートカットに依存していることがわかった。
論文 参考訳（メタデータ） (2024-10-31T12:48:58Z) - Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
因果表現学習を大規模言語モデルと統合する枠組みを提案する。
このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。
本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
論文 参考訳（メタデータ） (2024-10-25T18:36:37Z) - Counterfactual Causal Inference in Natural Language with Large Language Models [9.153187514369849]
本稿では,自然言語からの因果構造発見と因果推論手法を提案する。
まず LLM を用いてテキストデータからインスタンス化された因果変数を抽出し,因果グラフを構築する。
次に、推定されたグラフに対して反実数推論を行う。
論文 参考訳（メタデータ） (2024-10-08T21:53:07Z) - From Pre-training Corpora to Large Language Models: What Factors Influence LLM Performance in Causal Discovery Tasks? [51.42906577386907]
本研究では,因果発見タスクにおけるLarge Language Models(LLM)の性能に影響を与える要因について検討する。
因果関係の頻度が高いことは、より良いモデル性能と相関し、トレーニング中に因果関係の情報に広範囲に暴露することで、因果関係の発見能力を高めることを示唆している。
論文 参考訳（メタデータ） (2024-07-29T01:45:05Z) - CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs [27.362012903540492]
因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
論文 参考訳（メタデータ） (2024-04-09T14:40:08Z) - Is Knowledge All Large Language Models Needed for Causal Reasoning? [11.476877330365664]
本稿では,大規模言語モデル(LLM)の因果推論について,人工知能の進化における解釈可能性と信頼性を高めるために検討する。
本稿では,do-operativesを利用した新たな因果帰属モデルを提案する。
論文 参考訳（メタデータ） (2023-12-30T04:51:46Z) - Zero-shot Causal Graph Extrapolation from Text via LLMs [50.596179963913045]
我々は,自然言語から因果関係を推定する大規模言語モデル (LLM) の能力を評価する。
LLMは、(特別な)トレーニングサンプルを必要とせずにペア関係のベンチマークで競合性能を示す。
我々は、反復的なペアワイズクエリを通して因果グラフを外挿するアプローチを拡張した。
論文 参考訳（メタデータ） (2023-12-22T13:14:38Z) - CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。
ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
論文 参考訳（メタデータ） (2023-12-07T15:12:12Z) - Causal Inference Using LLM-Guided Discovery [34.040996887499425]
グラフ変数(因果順序)に対する位相的順序は、因果効果の推論にのみ十分であることを示す。
本稿では,Large Language Models (LLMs) から因果順序を求める頑健な手法を提案する。
提案手法は発見アルゴリズムと比較して因果順序精度を大幅に向上させる。
論文 参考訳（メタデータ） (2023-10-23T17:23:56Z) - Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。
相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。
これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文 参考訳（メタデータ） (2023-06-09T12:09:15Z) - Causal Reasoning and Large Language Models: Opening a New Frontier for Causality [29.433401785920065]
大規模言語モデル(LLM)は、高い確率で因果引数を生成することができる。
LLMは人間のドメインの専門家によって因果解析のセットアップの労力を節約するために使われる。
論文 参考訳（メタデータ） (2023-04-28T19:00:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。