論文の概要: Can We Utilize Pre-trained Language Models within Causal Discovery
Algorithms?
- arxiv url: http://arxiv.org/abs/2311.11212v1
- Date: Sun, 19 Nov 2023 03:31:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 21:30:42.190134
- Title: Can We Utilize Pre-trained Language Models within Causal Discovery
Algorithms?
- Title(参考訳): 因果探索アルゴリズムにおける事前学習言語モデルの利用は可能か?
- Authors: Chanhui Lee (1), Juhyeon Kim (2), Yongjun Jeong (3), Juhyun Lyu (4),
Junghee Kim (4), Sangmin Lee (4), Sangjun Han (4), Hyeokjun Choe (4), Soyeon
Park (4), Woohyung Lim (4), Sungbin Lim (5,6), Sanghack Lee (2,7) ((1)
Department of Artificial Intelligence, Korea University, (2) Graduate School
of Data Science, Seoul National University, (3) Department of Computer
Science and Engineering, UNIST, (4) Data Intelligence Laboratory, LG AI
Research, (5) Department of Statistics, Korea University, (6) LG AI Research,
(7) SNU-LG AI Research Center)
- Abstract要約: 事前学習言語モデル(PLM)の因果推論は、テキストベースの記述にのみ依存する。
PLMから得られた事前知識を因果探索アルゴリズムと統合する新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 0.2303687191203919
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scaling laws have allowed Pre-trained Language Models (PLMs) into the field
of causal reasoning. Causal reasoning of PLM relies solely on text-based
descriptions, in contrast to causal discovery which aims to determine the
causal relationships between variables utilizing data. Recently, there has been
current research regarding a method that mimics causal discovery by aggregating
the outcomes of repetitive causal reasoning, achieved through specifically
designed prompts. It highlights the usefulness of PLMs in discovering cause and
effect, which is often limited by a lack of data, especially when dealing with
multiple variables. Conversely, the characteristics of PLMs which are that PLMs
do not analyze data and they are highly dependent on prompt design leads to a
crucial limitation for directly using PLMs in causal discovery. Accordingly,
PLM-based causal reasoning deeply depends on the prompt design and carries out
the risk of overconfidence and false predictions in determining causal
relationships. In this paper, we empirically demonstrate the aforementioned
limitations of PLM-based causal reasoning through experiments on
physics-inspired synthetic data. Then, we propose a new framework that
integrates prior knowledge obtained from PLM with a causal discovery algorithm.
This is accomplished by initializing an adjacency matrix for causal discovery
and incorporating regularization using prior knowledge. Our proposed framework
not only demonstrates improved performance through the integration of PLM and
causal discovery but also suggests how to leverage PLM-extracted prior
knowledge with existing causal discovery algorithms.
- Abstract(参考訳): スケーリング法は、事前訓練された言語モデル(PLM)を因果推論の分野に導入することを許している。
PLMの因果推論は、データを利用した変数間の因果関係を決定することを目的とした因果発見とは対照的に、テキストベースの記述にのみ依存する。
近年,特別に設計されたプロンプトにより,反復的因果推論の結果を集約して因果発見を模倣する手法が研究されている。
原因と効果の発見におけるPLMの有用性を強調しており、特に複数の変数を扱う場合、データ不足によって制限されることが多い。
逆に、PLMはデータを解析せず、迅速な設計に大きく依存しているというPLMの特徴は、因果発見にPLMを直接使用する上で重要な制限となる。
したがって、plmに基づく因果推論は、素早い設計に深く依存し、因果関係を決定する際に過剰信頼と誤った予測のリスクを負う。
本稿では,物理に着想を得た合成データの実験を通して,前述のPLMに基づく因果推論の限界を実証的に示す。
そこで本研究では,plmから得られた知識を因果発見アルゴリズムと統合する新しいフレームワークを提案する。
これは因果発見のための隣接行列を初期化し、事前知識を用いた正規化を組み込むことによって達成される。
提案手法は, PLMと因果発見の統合による性能向上を実証するだけでなく, PLMから抽出した事前知識を既存の因果発見アルゴリズムで活用する方法も提案する。
関連論文リスト
- Causal Prompting: Debiasing Large Language Model Prompting based on
Front-Door Adjustment [24.932188867289533]
大規模言語モデルのバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。
実験結果から,提案手法は3つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-03-05T07:47:34Z) - Discovery of the Hidden World with Large Language Models [100.38157787218044]
COAT: Causal representatiOn AssistanTについて紹介する。
COATは、非構造化データから潜在的な因果因子を抽出する因子プロジェクタとしてLLMを組み込んでいる。
LLMはデータ値の収集に使用される追加情報を提供するよう指示することもできる。
論文 参考訳(メタデータ) (2024-02-06T12:18:54Z) - Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。
ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。
また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
論文 参考訳(メタデータ) (2024-02-04T05:50:38Z) - Is Knowledge All Large Language Models Needed for Causal Reasoning? [12.898859965556698]
本稿では,大規模言語モデル(LLM)の因果推論について,人工知能の進化における解釈可能性と信頼性を高めるために検討する。
本稿では,「do-operators」を用いた新たな因果帰属モデルを提案する。
論文 参考訳(メタデータ) (2023-12-30T04:51:46Z) - Zero-shot Causal Graph Extrapolation from Text via LLMs [50.596179963913045]
我々は,自然言語から因果関係を推定する大規模言語モデル (LLM) の能力を評価する。
LLMは、(特別な)トレーニングサンプルを必要とせずにペア関係のベンチマークで競合性能を示す。
我々は、反復的なペアワイズクエリを通して因果グラフを外挿するアプローチを拡張した。
論文 参考訳(メタデータ) (2023-12-22T13:14:38Z) - CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。
ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
論文 参考訳(メタデータ) (2023-12-07T15:12:12Z) - Causal Inference Using LLM-Guided Discovery [34.040996887499425]
グラフ変数(因果順序)に対する位相的順序は、因果効果の推論にのみ十分であることを示す。
本稿では,Large Language Models (LLMs) から因果順序を求める頑健な手法を提案する。
提案手法は発見アルゴリズムと比較して因果順序精度を大幅に向上させる。
論文 参考訳(メタデータ) (2023-10-23T17:23:56Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳(メタデータ) (2023-10-11T14:18:03Z) - Can Large Language Models Infer Causation from Correlation? [80.38419293391397]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。
相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。
これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-09T12:09:15Z) - Causal Reasoning and Large Language Models: Opening a New Frontier for
Causality [22.00533107457377]
大規模言語モデル(LLM)は、特に高度なシナリオにおいて、それらの推論を形式化し、検証し、伝達するために使用することができる。
LLMは、収集された知識を使用して因果グラフを生成したり、自然言語から背景因果コンテキストを識別したりといった、人間に制限される能力をもたらす。
我々は、従来の因果解析手法とともに、人間のドメイン知識のプロキシとして、そして因果解析を構築する際の人的労力を減らすために、LSMを使用することを想定する。
論文 参考訳(メタデータ) (2023-04-28T19:00:43Z) - Pre-training Language Models with Deterministic Factual Knowledge [42.812774794720895]
我々は, PLM が残りのコンテキストとマスキングコンテンツとの間にある決定論的関係を学習させることを提案する。
2つの事前学習タスクを導入し、マスクを充填する際の決定論的関係に依存するようにPLMを動機付けている。
実験により, PLMは実知識の収集において, 良好な堅牢性が得られることが示された。
論文 参考訳(メタデータ) (2022-10-20T11:04:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。