論文の概要: Causal Inference Using LLM-Guided Discovery
- arxiv url: http://arxiv.org/abs/2310.15117v1
- Date: Mon, 23 Oct 2023 17:23:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 18:27:15.347104
- Title: Causal Inference Using LLM-Guided Discovery
- Title(参考訳): LLM誘導ディスカバリによる因果推論
- Authors: Aniket Vashishtha, Abbavaram Gowtham Reddy, Abhinav Kumar, Saketh
Bachu, Vineeth N Balasubramanian, Amit Sharma
- Abstract要約: グラフ変数(因果順序)に対する位相的順序は、因果効果の推論にのみ十分であることを示す。
本稿では,Large Language Models (LLMs) から因果順序を求める頑健な手法を提案する。
提案手法は発見アルゴリズムと比較して因果順序精度を大幅に向上させる。
- 参考スコア(独自算出の注目度): 34.040996887499425
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: At the core of causal inference lies the challenge of determining reliable
causal graphs solely based on observational data. Since the well-known backdoor
criterion depends on the graph, any errors in the graph can propagate
downstream to effect inference. In this work, we initially show that complete
graph information is not necessary for causal effect inference; the topological
order over graph variables (causal order) alone suffices. Further, given a node
pair, causal order is easier to elicit from domain experts compared to graph
edges since determining the existence of an edge can depend extensively on
other variables. Interestingly, we find that the same principle holds for Large
Language Models (LLMs) such as GPT-3.5-turbo and GPT-4, motivating an automated
method to obtain causal order (and hence causal effect) with LLMs acting as
virtual domain experts. To this end, we employ different prompting strategies
and contextual cues to propose a robust technique of obtaining causal order
from LLMs. Acknowledging LLMs' limitations, we also study possible techniques
to integrate LLMs with established causal discovery algorithms, including
constraint-based and score-based methods, to enhance their performance.
Extensive experiments demonstrate that our approach significantly improves
causal ordering accuracy as compared to discovery algorithms, highlighting the
potential of LLMs to enhance causal inference across diverse fields.
- Abstract(参考訳): 因果推論の核心は、観測データのみに基づいて信頼できる因果グラフを決定することにある。
既知のバックドアの基準はグラフに依存するため、グラフ内のエラーはすべて下流に伝播し、効果推論を行うことができる。
本研究では、まず、因果効果推論には完全なグラフ情報を必要としないことを示し、グラフ変数(因果順序)の位相的順序だけでは十分である。
さらに、ノード対が与えられると、エッジの存在を決定することは他の変数に大きく依存するので、グラフエッジと比較してドメインの専門家から因果順序を引き出すのが容易になる。
興味深いことに、GPT-3.5-turbo や GPT-4 のような大規模言語モデル(LLM)も同様の原理を持ち、仮想ドメインの専門家として機能する LLM と因果順序(および因果効果)を求める自動手法を動機付けている。
この目的のために,LLMから因果順序を求める頑健な手法を提案するために,異なるプロンプト戦略と文脈的手法を用いる。
また, LLMの限界を認識し, LLMを制約ベースやスコアベースなど, 確立された因果探索アルゴリズムと統合し, 性能を向上させる技術についても検討する。
広範な実験により,提案手法は発見アルゴリズムに比べて有意に因果順序付け精度が向上し,多種多様な分野にわたる因果推論を強化するllmの可能性を強調した。
関連論文リスト
- Exploring the Limitations of Graph Reasoning in Large Language Models [5.256237513030104]
グラフ推論の問題から,5つの異なる大言語モデルに対するグラフ推論の深さを検証した。
グラフのサイズやkショットプロンプトの形式など,さまざまな設定におけるモデルの性能を解析する。
PathCompareと呼ばれる新しいプロンプト技術を提案し、標準プロンプトとCoTと比較してLCMの性能が顕著に向上したことを示す。
論文 参考訳(メタデータ) (2024-02-02T09:45:33Z) - Efficient Causal Graph Discovery Using Large Language Models [45.83684424508066]
提案するフレームワークはBFS (Broadth-first Search) アプローチを用いており,クエリの線形数のみを使用することができる。
提案フレームワークは,時間とデータ効率の向上に加えて,様々なサイズの実世界の因果グラフに対して,最先端の結果を達成している。
論文 参考訳(メタデータ) (2024-02-02T08:25:32Z) - Zero-shot Causal Graph Extrapolation from Text via LLMs [50.596179963913045]
我々は,自然言語から因果関係を推定する大規模言語モデル (LLM) の能力を評価する。
LLMは、(特別な)トレーニングサンプルを必要とせずにペア関係のベンチマークで競合性能を示す。
我々は、反復的なペアワイズクエリを通して因果グラフを外挿するアプローチを拡張した。
論文 参考訳(メタデータ) (2023-12-22T13:14:38Z) - Can We Utilize Pre-trained Language Models within Causal Discovery
Algorithms? [0.2303687191203919]
事前学習言語モデル(PLM)の因果推論は、テキストベースの記述にのみ依存する。
PLMから得られた事前知識を因果探索アルゴリズムと統合する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-19T03:31:30Z) - Enhancing Reasoning Capabilities of Large Language Models: A Graph-Based
Verification Approach [0.0]
大きな言語モデル(LLM)は印象的な推論機能を示しています。
本稿では,LLMの推論能力をさらに向上するグラフベースの新しい手法を提案する。
論文 参考訳(メタデータ) (2023-08-18T03:12:59Z) - Causal Reasoning and Large Language Models: Opening a New Frontier for
Causality [22.00533107457377]
大規模言語モデル(LLM)は、特に高度なシナリオにおいて、それらの推論を形式化し、検証し、伝達するために使用することができる。
LLMは、収集された知識を使用して因果グラフを生成したり、自然言語から背景因果コンテキストを識別したりといった、人間に制限される能力をもたらす。
我々は、従来の因果解析手法とともに、人間のドメイン知識のプロキシとして、そして因果解析を構築する際の人的労力を減らすために、LSMを使用することを想定する。
論文 参考訳(メタデータ) (2023-04-28T19:00:43Z) - Multi-task Learning of Order-Consistent Causal Graphs [59.9575145128345]
我々は、$K関連ガウス非巡回グラフ(DAG)の発見問題を考える。
マルチタスク学習環境下では, 線形構造方程式モデルを学習するためのMLE ($l_1/l$-regularized maximum chance estimator) を提案する。
理論的には、関係するタスクにまたがるデータを活用することで、因果順序を復元する際のサンプルの複雑さをより高めることができることを示す。
論文 参考訳(メタデータ) (2021-11-03T22:10:18Z) - Regret Analysis in Deterministic Reinforcement Learning [78.31410227443102]
本稿では,最適学習アルゴリズムの分析と設計の中心となる後悔の問題を考察する。
本稿では,システムパラメータに明示的に依存する対数問題固有の後悔の下位境界について述べる。
論文 参考訳(メタデータ) (2021-06-27T23:41:57Z) - Variational Causal Networks: Approximate Bayesian Inference over Causal
Structures [132.74509389517203]
離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。
実験では,提案した変分後部が真の後部を良好に近似できることを示した。
論文 参考訳(メタデータ) (2021-06-14T17:52:49Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳(メタデータ) (2021-06-07T17:47:16Z) - Causal Expectation-Maximisation [70.45873402967297]
ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。
我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。
我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
論文 参考訳(メタデータ) (2020-11-04T10:25:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。