論文の概要: Causal Inference Using LLM-Guided Discovery

• arxiv url: http://arxiv.org/abs/2310.15117v1
• Date: Mon, 23 Oct 2023 17:23:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-10-24 18:27:15.347104
• Title: Causal Inference Using LLM-Guided Discovery
• Title（参考訳）: LLM誘導ディスカバリによる因果推論
• Authors: Aniket Vashishtha, Abbavaram Gowtham Reddy, Abhinav Kumar, Saketh Bachu, Vineeth N Balasubramanian, Amit Sharma
• Abstract要約: グラフ変数(因果順序)に対する位相的順序は、因果効果の推論にのみ十分であることを示す。 本稿では,Large Language Models (LLMs) から因果順序を求める頑健な手法を提案する。 提案手法は発見アルゴリズムと比較して因果順序精度を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 34.040996887499425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: At the core of causal inference lies the challenge of determining reliable causal graphs solely based on observational data. Since the well-known backdoor criterion depends on the graph, any errors in the graph can propagate downstream to effect inference. In this work, we initially show that complete graph information is not necessary for causal effect inference; the topological order over graph variables (causal order) alone suffices. Further, given a node pair, causal order is easier to elicit from domain experts compared to graph edges since determining the existence of an edge can depend extensively on other variables. Interestingly, we find that the same principle holds for Large Language Models (LLMs) such as GPT-3.5-turbo and GPT-4, motivating an automated method to obtain causal order (and hence causal effect) with LLMs acting as virtual domain experts. To this end, we employ different prompting strategies and contextual cues to propose a robust technique of obtaining causal order from LLMs. Acknowledging LLMs' limitations, we also study possible techniques to integrate LLMs with established causal discovery algorithms, including constraint-based and score-based methods, to enhance their performance. Extensive experiments demonstrate that our approach significantly improves causal ordering accuracy as compared to discovery algorithms, highlighting the potential of LLMs to enhance causal inference across diverse fields.
• Abstract（参考訳）: 因果推論の核心は、観測データのみに基づいて信頼できる因果グラフを決定することにある。 既知のバックドアの基準はグラフに依存するため、グラフ内のエラーはすべて下流に伝播し、効果推論を行うことができる。 本研究では、まず、因果効果推論には完全なグラフ情報を必要としないことを示し、グラフ変数(因果順序)の位相的順序だけでは十分である。 さらに、ノード対が与えられると、エッジの存在を決定することは他の変数に大きく依存するので、グラフエッジと比較してドメインの専門家から因果順序を引き出すのが容易になる。 興味深いことに、GPT-3.5-turbo や GPT-4 のような大規模言語モデル(LLM)も同様の原理を持ち、仮想ドメインの専門家として機能する LLM と因果順序(および因果効果)を求める自動手法を動機付けている。 この目的のために,LLMから因果順序を求める頑健な手法を提案するために,異なるプロンプト戦略と文脈的手法を用いる。 また, LLMの限界を認識し, LLMを制約ベースやスコアベースなど, 確立された因果探索アルゴリズムと統合し, 性能を向上させる技術についても検討する。 広範な実験により,提案手法は発見アルゴリズムに比べて有意に因果順序付け精度が向上し,多種多様な分野にわたる因果推論を強化するllmの可能性を強調した。

関連論文リスト

• Learning to Defer for Causal Discovery with Imperfect Experts [59.071731337922664]
  L2D-CDは、専門家の推薦の正しさを測り、データ駆動因果発見結果と最適に組み合わせる手法である。 我々は,標準T"ubingenペアデータセット上でL2D-CDを評価し,因果探索法と分離に用いる専門家の双方と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2025-02-18T18:55:53Z)
• CausalGraph2LLM: Evaluating LLMs for Causal Queries [49.337170619608145]
  因果関係は科学研究において不可欠であり、研究者は変数間の真の関係を解釈することができる。 近年のLarge Language Models (LLMs) の発展に伴い,因果推論の能力を探究することへの関心が高まっている。
  論文  参考訳（メタデータ） (2024-10-21T12:12:21Z)
• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは、事前定義された微妙なエラーをピボットトークンに注入する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでの優先学習により、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善され、トレーニングサンプルは4.5Kに留まった。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Few-shot Knowledge Graph Relational Reasoning via Subgraph Adaptation [51.47994645529258]
  Few-shot Knowledge Graph (KG) Reasoningは、KGにおける稀な関係に対して、目に見えない三つ子(すなわちクエリ三つ子)を予測することを目的としている。 本稿では,種々のサブグラフに文脈化グラフの情報を効果的に適応させる手法であるSAFER(Subgraph Adaptation for Few-shot Reasoning)を提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:40:35Z)
• Large Language Models for Constrained-Based Causal Discovery [4.858756226945995]
  因果関係は経済、脳、気候といった複雑なシステムを理解するのに不可欠である。 この研究は、因果グラフ生成のためのドメインエキスパートの代替として、LLM(Large Language Models)の能力を探求する。
  論文  参考訳（メタデータ） (2024-06-11T15:45:24Z)
• Large Language Models are Effective Priors for Causal Graph Discovery [6.199818486385127]
  専門家によって提供された背景知識を統合して仮説空間を縮小することにより、観測による因果構造発見を改善することができる。 近年,Large Language Models (LLMs) は,人的専門家に対するクエリコストの低さから,事前情報源として考えられ始めている。
  論文  参考訳（メタデータ） (2024-05-22T11:39:11Z)
• ALCM: Autonomous LLM-Augmented Causal Discovery Framework [2.1470800327528843]
  我々は、データ駆動因果探索アルゴリズムと大規模言語モデルとを相乗化するために、ALCM(Autonomous LLM-Augmented Causal Discovery Framework)という新しいフレームワークを導入する。 ALCMは、因果構造学習(英語版)、因果ラッパー(英語版)、LLM駆動因果リファクター(英語版)の3つの統合的な構成要素から構成される。 我々は、よく知られた7つのデータセットに2つのデモを実装することで、ALCMフレームワークを評価する。
  論文  参考訳（メタデータ） (2024-05-02T21:27:45Z)
• Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Solvers for Math Word Problems [50.76385564061713]
  CoT(Chain-of-Thought)のプロンプトにより、さまざまな推論タスクにわたるLLM(Large Language Models)のパフォーマンスが向上した。 CoTは通常、セマンティックな誤解エラー、計算エラー、ステップミスという3つの落とし穴に悩まされる。 意味的誤解の誤りに対処し,LLMの数学的問題解決能力を改善するために,DUP(Deeply Understanding the Problems)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T12:16:05Z)
• Redefining the Shortest Path Problem Formulation of the Linear Non-Gaussian Acyclic Model: Pairwise Likelihood Ratios, Prior Knowledge, and Path Enumeration [0.0]
  本稿では,LiNGAM-SPPフレームワークの3倍拡張を提案する。 パラメータチューニングの必要性は、kNNベースの相互情報の代わりに、ペアワイズ確率比を用いて排除される。 先行知識の組み入れは、すべての因果順序のグラフ表現に実装されたノードスキッピング戦略によって実現される。
  論文  参考訳（メタデータ） (2024-04-18T05:59:28Z)
• Zero-shot Causal Graph Extrapolation from Text via LLMs [50.596179963913045]
  我々は,自然言語から因果関係を推定する大規模言語モデル (LLM) の能力を評価する。 LLMは、(特別な)トレーニングサンプルを必要とせずにペア関係のベンチマークで競合性能を示す。 我々は、反復的なペアワイズクエリを通して因果グラフを外挿するアプローチを拡張した。
  論文  参考訳（メタデータ） (2023-12-22T13:14:38Z)
• Graph Elicitation for Guiding Multi-Step Reasoning in Large Language Models [16.432208223793666]
  Chain-of-Thoughtはサブクエスト生成と応答を促進させ、多段階推論機能を強化した。 本稿では,GE-Reasoning法を提案する。 提案手法は,マルチホップ質問応答ベンチマークデータセットにおいて,従来のCoTプロンプト手法とその変種よりも優れていた。
  論文  参考訳（メタデータ） (2023-11-16T10:36:08Z)
• To Copy Rather Than Memorize: A Vertical Learning Paradigm for Knowledge Graph Completion [35.05965140700747]
  我々は、より正確な予測のために、埋め込みモデルを拡張し、関連する事実のトリプルからターゲット情報を明示的にコピーできるようにする。 また、より効率的な最適化のための新しい相対距離ベース負サンプリング手法(ReD)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T14:53:20Z)
• Causal Reasoning and Large Language Models: Opening a New Frontier for Causality [29.433401785920065]
  大規模言語モデル(LLM)は、高い確率で因果引数を生成することができる。 LLMは人間のドメインの専門家によって因果解析のセットアップの労力を節約するために使われる。
  論文  参考訳（メタデータ） (2023-04-28T19:00:43Z)
• Query-based Instance Discrimination Network for Relational Triple Extraction [39.35417927570248]
  統合エンティティと関係抽出は、情報抽出の分野における中核的なタスクである。 最近のアプローチでは、通常は立体的な視点から関係三重項の抽出を考える。 本稿では,リレーショナルトリプルに対するインスタンスレベルの表現を構築するための,新しいクエリベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-03T13:34:56Z)
• Walk-and-Relate: A Random-Walk-based Algorithm for Representation Learning on Sparse Knowledge Graphs [5.444459446244819]
  本稿では,データ空間の問題に対処するため,三重項数を増加させる効率的な方法を提案する。 また,メタパスの集合から情報的メタパスを高精度かつ効率的に抽出する手法も提案する。 提案したアプローチはモデルに依存しず、拡張トレーニングデータセットは、任意のKG埋め込みアプローチを最初から使用することができる。
  論文  参考訳（メタデータ） (2022-09-19T05:35:23Z)
• Multi-task Learning of Order-Consistent Causal Graphs [59.9575145128345]
  我々は、$K関連ガウス非巡回グラフ(DAG)の発見問題を考える。 マルチタスク学習環境下では, 線形構造方程式モデルを学習するためのMLE ($l_1/l$-regularized maximum chance estimator) を提案する。 理論的には、関係するタスクにまたがるデータを活用することで、因果順序を復元する際のサンプルの複雑さをより高めることができることを示す。
  論文  参考訳（メタデータ） (2021-11-03T22:10:18Z)
• Variational Causal Networks: Approximate Bayesian Inference over Causal Structures [132.74509389517203]
  離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。 実験では,提案した変分後部が真の後部を良好に近似できることを示した。
  論文  参考訳（メタデータ） (2021-06-14T17:52:49Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。