論文の概要: Causal Structure Learning Supervised by Large Language Model
- arxiv url: http://arxiv.org/abs/2311.11689v1
- Date: Mon, 20 Nov 2023 11:43:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 19:02:57.467226
- Title: Causal Structure Learning Supervised by Large Language Model
- Title(参考訳): 大規模言語モデルによる因果構造学習
- Authors: Taiyu Ban and Lyuzhou Chen and Derui Lyu and Xiangyu Wang and Huanhuan
Chen
- Abstract要約: 因果構造学習(CSL)は、データから因果非巡回グラフ(DAG)を導出することに焦点を当てる。
CSLにLLM(Large Language Models)を利用する既存のアプローチでは、問題が発生している。
本稿では,ILM Supervised CSLフレームワークについて紹介する。
- 参考スコア(独自算出の注目度): 17.531706694386713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Causal discovery from observational data is pivotal for deciphering complex
relationships. Causal Structure Learning (CSL), which focuses on deriving
causal Directed Acyclic Graphs (DAGs) from data, faces challenges due to vast
DAG spaces and data sparsity. The integration of Large Language Models (LLMs),
recognized for their causal reasoning capabilities, offers a promising
direction to enhance CSL by infusing it with knowledge-based causal inferences.
However, existing approaches utilizing LLMs for CSL have encountered issues,
including unreliable constraints from imperfect LLM inferences and the
computational intensity of full pairwise variable analyses. In response, we
introduce the Iterative LLM Supervised CSL (ILS-CSL) framework. ILS-CSL
innovatively integrates LLM-based causal inference with CSL in an iterative
process, refining the causal DAG using feedback from LLMs. This method not only
utilizes LLM resources more efficiently but also generates more robust and
high-quality structural constraints compared to previous methodologies. Our
comprehensive evaluation across eight real-world datasets demonstrates
ILS-CSL's superior performance, setting a new standard in CSL efficacy and
showcasing its potential to significantly advance the field of causal
discovery. The codes are available at
\url{https://github.com/tyMadara/ILS-CSL}.
- Abstract(参考訳): 観測データからの因果発見は複雑な関係の解読に重要である。
因果非巡回グラフ(DAG)をデータから導出することに焦点を当てた因果構造学習(CSL)は,DAG空間とデータ空間の広さによる課題に直面している。
因果推論能力で認識されるLarge Language Models(LLMs)の統合は、知識に基づく因果推論を取り入れることで、CSLを強化するための有望な方向性を提供する。
しかし、LLMをCSLに活用する既存のアプローチでは、不完全なLLM推論からの信頼できない制約や、完全対変数解析の計算強度といった問題が発生している。
そこで本研究では,ILS-CSL (Iterative LLM Supervised CSL) フレームワークを提案する。
ILS-CSLは、LCMに基づく因果推論を反復的にCSLに統合し、LSMからのフィードバックを用いて因果DAGを精製する。
この手法は, LLM資源をより効率的に活用するだけでなく, 従来の手法に比べ, より堅牢で高品質な構造制約を生成する。
実世界の8つのデータセットの包括的な評価は、ILS-CSLの優れた性能を示し、CSLの有効性の新しい標準を設定し、因果発見の分野を著しく前進させる可能性を示している。
コードは \url{https://github.com/tyMadara/ILS-CSL} で公開されている。
関連論文リスト
- LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳(メタデータ) (2025-02-15T02:55:22Z) - Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。
本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
論文 参考訳(メタデータ) (2025-02-03T17:13:03Z) - On the Discriminability of Self-Supervised Representation Learning [38.598160031349686]
自己教師付き学習(SSL)は、最近、下流の視覚タスクで大きな成功を収めた。
特に複雑な下流タスクにおいて、SSLと教師あり学習(SL)の間には、注目すべきギャップがまだ残っている。
論文 参考訳(メタデータ) (2024-07-18T14:18:03Z) - Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。
セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。
LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。
エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
論文 参考訳(メタデータ) (2024-05-10T11:44:05Z) - CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs [27.362012903540492]
因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
論文 参考訳(メタデータ) (2024-04-09T14:40:08Z) - Integrating Large Language Models in Causal Discovery: A Statistical Causal Approach [4.587032475324664]
本稿では,大言語モデル(LLM)を用いたSCDと知識に基づく因果推論(KBCI)を合成する,因果推論の新しい手法を提案する。
LLM-KBCI と LLM-KBCI を併用した SCD の結果は, 先行知識のない SCD の結果よりも, 基礎的真理に近づいたことが明らかとなった。
医療などの重要な領域にまたがる本提案手法の実用化に向けて, 限界, 臨界誤差のリスク, LLMに関する技術改善の期待, 結果のエキスパートチェックの現実的な統合などについても, 徹底的に検討する。
論文 参考訳(メタデータ) (2024-02-02T14:43:19Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Causal Reasoning and Large Language Models: Opening a New Frontier for Causality [29.433401785920065]
大規模言語モデル(LLM)は、高い確率で因果引数を生成することができる。
LLMは人間のドメインの専門家によって因果解析のセットアップの労力を節約するために使われる。
論文 参考訳(メタデータ) (2023-04-28T19:00:43Z) - Zero-Shot Cross-Lingual Summarization via Large Language Models [108.30673793281987]
言語間要約(CLS)は、異なる対象言語で要約を生成する。
近年のLarge Language Models (LLMs) の出現は、計算言語学コミュニティから広く注目を集めている。
本稿では,異なるパラダイムからゼロショットCLSを実行するために,LSMを誘導するために様々なプロンプトを経験的に使用した。
論文 参考訳(メタデータ) (2023-02-28T01:27:37Z) - Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of
Semi-Supervised Learning and Active Learning [60.26659373318915]
アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。
本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。
2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
論文 参考訳(メタデータ) (2022-06-07T13:28:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。