論文の概要: Causal Order: The Key to Leveraging Imperfect Experts in Causal Inference

• arxiv url: http://arxiv.org/abs/2310.15117v2
• Date: Tue, 08 Apr 2025 01:03:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 05:43:17.753099
• Title: Causal Order: The Key to Leveraging Imperfect Experts in Causal Inference
• Title（参考訳）: 因果的秩序:因果的推論における不完全な専門家の活用の鍵
• Authors: Aniket Vashishtha, Abbavaram Gowtham Reddy, Abhinav Kumar, Saketh Bachu, Vineeth N Balasubramanian, Amit Sharma,
• Abstract要約: 大言語モデル(LLM)は、因果グラフを推測する専門家として使われてきた。 本稿では,専門家の知識を活用するための,より安定した出力インタフェースとして因果順序を提案する。 本稿では,三重項法から得られた因果順序を,下流グラフ探索および効果推論タスクにおける誤差を低減するために利用する方法について述べる。
• 参考スコア（独自算出の注目度）: 32.12579144494773
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have been used as experts to infer causal graphs, often by repeatedly applying a pairwise prompt that asks about the causal relationship of each variable pair. However, such experts, including human domain experts, cannot distinguish between direct and indirect effects given a pairwise prompt. Therefore, instead of the graph, we propose that causal order be used as a more stable output interface for utilizing expert knowledge. Even when querying a perfect expert with a pairwise prompt, we show that the inferred graph can have significant errors whereas the causal order is always correct. In practice, however, LLMs are imperfect experts and we find that pairwise prompts lead to multiple cycles. Hence, we propose the triplet method, a novel querying strategy that introduces an auxiliary variable for every variable pair and instructs the LLM to avoid cycles within this triplet. It then uses a voting-based ensemble method that results in higher accuracy and fewer cycles while ensuring cost efficiency. Across multiple real-world graphs, such a triplet-based method yields a more accurate order than the pairwise prompt, using both LLMs and human annotators. The triplet method enhances robustness by repeatedly querying an expert with different auxiliary variables, enabling smaller models like Phi-3 and Llama-3 8B Instruct to surpass GPT-4 with pairwise prompting. For practical usage, we show how the expert-provided causal order from the triplet method can be used to reduce error in downstream graph discovery and effect inference tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は因果グラフを推論する専門家として使われ、しばしば各変数ペアの因果関係について尋ねるペアワイズプロンプトを何度も適用している。 しかしながら、人間のドメインの専門家を含むそのような専門家は、ペアのプロンプトが与えられた直接的な効果と間接的な効果を区別することはできない。 そこで本研究では,このグラフの代わりに,専門家の知識を活用するための,より安定した出力インタフェースとして因果順序を用いることを提案する。 パーフェクトな専門家にペアのプロンプトで問い合わせても、推論されたグラフは重大な誤りを犯しうるが、因果順序は常に正しいことを示す。 しかし、実際にはLLMは不完全な専門家であり、ペアのプロンプトが複数のサイクルに繋がることがわかった。 そこで本研究では,各変数対に対して補助変数を導入し,この三重項内のサイクルを避けるようLLMに指示する新しいクエリ手法である三重項法を提案する。 次に、投票に基づくアンサンブル法を使用して、より高い精度と少ないサイクルを実現し、コスト効率を保証します。 複数の実世界のグラフにまたがって、このような三重項に基づく手法は、LSMと人間のアノテータの両方を用いて、ペアのプロンプトよりも正確な順序を与える。 三重項法は、Phi-3やLlama-3 8B Instructのようなより小さなモデルに対して、ペアのプロンプトでGPT-4を越えさせることで、専門家に異なる補助変数を何度も問い合わせることにより、堅牢性を高める。 本稿では,三重項法から得られる因果順序を,下流グラフ探索および効果推論タスクにおける誤差を低減するためにどのように利用することができるかを示す。

関連論文リスト

• Learning to Defer for Causal Discovery with Imperfect Experts [59.071731337922664]
  L2D-CDは、専門家の推薦の正しさを測り、データ駆動因果発見結果と最適に組み合わせる手法である。 我々は,標準T"ubingenペアデータセット上でL2D-CDを評価し,因果探索法と分離に用いる専門家の双方と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2025-02-18T18:55:53Z)
• CausalGraph2LLM: Evaluating LLMs for Causal Queries [49.337170619608145]
  因果関係は科学研究において不可欠であり、研究者は変数間の真の関係を解釈することができる。 近年のLarge Language Models (LLMs) の発展に伴い,因果推論の能力を探究することへの関心が高まっている。
  論文  参考訳（メタデータ） (2024-10-21T12:12:21Z)
• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは、事前定義された微妙なエラーをピボットトークンに注入する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでの優先学習により、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善され、トレーニングサンプルは4.5Kに留まった。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Few-shot Knowledge Graph Relational Reasoning via Subgraph Adaptation [51.47994645529258]
  Few-shot Knowledge Graph (KG) Reasoningは、KGにおける稀な関係に対して、目に見えない三つ子(すなわちクエリ三つ子)を予測することを目的としている。 本稿では,種々のサブグラフに文脈化グラフの情報を効果的に適応させる手法であるSAFER(Subgraph Adaptation for Few-shot Reasoning)を提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:40:35Z)
• Large Language Models for Constrained-Based Causal Discovery [4.858756226945995]
  因果関係は経済、脳、気候といった複雑なシステムを理解するのに不可欠である。 この研究は、因果グラフ生成のためのドメインエキスパートの代替として、LLM(Large Language Models)の能力を探求する。
  論文  参考訳（メタデータ） (2024-06-11T15:45:24Z)
• Large Language Models are Effective Priors for Causal Graph Discovery [6.199818486385127]
  専門家によって提供された背景知識を統合して仮説空間を縮小することにより、観測による因果構造発見を改善することができる。 近年,Large Language Models (LLMs) は,人的専門家に対するクエリコストの低さから,事前情報源として考えられ始めている。
  論文  参考訳（メタデータ） (2024-05-22T11:39:11Z)
• ALCM: Autonomous LLM-Augmented Causal Discovery Framework [2.1470800327528843]
  我々は、データ駆動因果探索アルゴリズムと大規模言語モデルとを相乗化するために、ALCM(Autonomous LLM-Augmented Causal Discovery Framework)という新しいフレームワークを導入する。 ALCMは、因果構造学習(英語版)、因果ラッパー(英語版)、LLM駆動因果リファクター(英語版)の3つの統合的な構成要素から構成される。 我々は、よく知られた7つのデータセットに2つのデモを実装することで、ALCMフレームワークを評価する。
  論文  参考訳（メタデータ） (2024-05-02T21:27:45Z)
• Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Solvers for Math Word Problems [50.76385564061713]
  CoT(Chain-of-Thought)のプロンプトにより、さまざまな推論タスクにわたるLLM(Large Language Models)のパフォーマンスが向上した。 CoTは通常、セマンティックな誤解エラー、計算エラー、ステップミスという3つの落とし穴に悩まされる。 意味的誤解の誤りに対処し,LLMの数学的問題解決能力を改善するために,DUP(Deeply Understanding the Problems)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T12:16:05Z)
• Redefining the Shortest Path Problem Formulation of the Linear Non-Gaussian Acyclic Model: Pairwise Likelihood Ratios, Prior Knowledge, and Path Enumeration [0.0]
  本稿では,LiNGAM-SPPフレームワークの3倍拡張を提案する。 パラメータチューニングの必要性は、kNNベースの相互情報の代わりに、ペアワイズ確率比を用いて排除される。 先行知識の組み入れは、すべての因果順序のグラフ表現に実装されたノードスキッピング戦略によって実現される。
  論文  参考訳（メタデータ） (2024-04-18T05:59:28Z)
• Zero-shot Causal Graph Extrapolation from Text via LLMs [50.596179963913045]
  我々は,自然言語から因果関係を推定する大規模言語モデル (LLM) の能力を評価する。 LLMは、(特別な)トレーニングサンプルを必要とせずにペア関係のベンチマークで競合性能を示す。 我々は、反復的なペアワイズクエリを通して因果グラフを外挿するアプローチを拡張した。
  論文  参考訳（メタデータ） (2023-12-22T13:14:38Z)
• Graph Elicitation for Guiding Multi-Step Reasoning in Large Language Models [16.432208223793666]
  Chain-of-Thoughtはサブクエスト生成と応答を促進させ、多段階推論機能を強化した。 本稿では,GE-Reasoning法を提案する。 提案手法は,マルチホップ質問応答ベンチマークデータセットにおいて,従来のCoTプロンプト手法とその変種よりも優れていた。
  論文  参考訳（メタデータ） (2023-11-16T10:36:08Z)
• To Copy Rather Than Memorize: A Vertical Learning Paradigm for Knowledge Graph Completion [35.05965140700747]
  我々は、より正確な予測のために、埋め込みモデルを拡張し、関連する事実のトリプルからターゲット情報を明示的にコピーできるようにする。 また、より効率的な最適化のための新しい相対距離ベース負サンプリング手法(ReD)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T14:53:20Z)
• Causal Reasoning and Large Language Models: Opening a New Frontier for Causality [29.433401785920065]
  大規模言語モデル(LLM)は、高い確率で因果引数を生成することができる。 LLMは人間のドメインの専門家によって因果解析のセットアップの労力を節約するために使われる。
  論文  参考訳（メタデータ） (2023-04-28T19:00:43Z)
• Query-based Instance Discrimination Network for Relational Triple Extraction [39.35417927570248]
  統合エンティティと関係抽出は、情報抽出の分野における中核的なタスクである。 最近のアプローチでは、通常は立体的な視点から関係三重項の抽出を考える。 本稿では,リレーショナルトリプルに対するインスタンスレベルの表現を構築するための,新しいクエリベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-03T13:34:56Z)
• Walk-and-Relate: A Random-Walk-based Algorithm for Representation Learning on Sparse Knowledge Graphs [5.444459446244819]
  本稿では,データ空間の問題に対処するため,三重項数を増加させる効率的な方法を提案する。 また,メタパスの集合から情報的メタパスを高精度かつ効率的に抽出する手法も提案する。 提案したアプローチはモデルに依存しず、拡張トレーニングデータセットは、任意のKG埋め込みアプローチを最初から使用することができる。
  論文  参考訳（メタデータ） (2022-09-19T05:35:23Z)
• Multi-task Learning of Order-Consistent Causal Graphs [59.9575145128345]
  我々は、$K関連ガウス非巡回グラフ(DAG)の発見問題を考える。 マルチタスク学習環境下では, 線形構造方程式モデルを学習するためのMLE ($l_1/l$-regularized maximum chance estimator) を提案する。 理論的には、関係するタスクにまたがるデータを活用することで、因果順序を復元する際のサンプルの複雑さをより高めることができることを示す。
  論文  参考訳（メタデータ） (2021-11-03T22:10:18Z)
• Variational Causal Networks: Approximate Bayesian Inference over Causal Structures [132.74509389517203]
  離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。 実験では,提案した変分後部が真の後部を良好に近似できることを示した。
  論文  参考訳（メタデータ） (2021-06-14T17:52:49Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。