論文の概要: Mitigating Prior Errors in Causal Structure Learning: Towards LLM driven
Prior Knowledge
- arxiv url: http://arxiv.org/abs/2306.07032v1
- Date: Mon, 12 Jun 2023 11:24:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 15:00:30.154214
- Title: Mitigating Prior Errors in Causal Structure Learning: Towards LLM driven
Prior Knowledge
- Title（参考訳）: 因果構造学習における事前エラーの軽減--LLMによる事前知識を目指して
- Authors: Lyuzhou Chen, Taiyu Ban, Xiangyu Wang, Derui Lyu, Huanhuan Chen
- Abstract要約: 我々は,Large Language Models (LLM) の誤った因果文に対処することを目指している。
先駆的な試みとして,人間の介入を必要とせず,事前エラーに耐性のあるBN学習戦略を提案する。
具体的には、正しい事前知識の大多数を維持しながら、オーダー逆誤差に抵抗する実質的な能力を強調します。
- 参考スコア（独自算出の注目度）: 17.634793921251777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Causal structure learning, a prominent technique for encoding cause and
effect relationships among variables, through Bayesian Networks (BNs). Merely
recovering causal structures from real-world observed data lacks precision,
while the development of Large Language Models (LLM) is opening a new frontier
of causality. LLM presents strong capability in discovering causal
relationships between variables with the "text" inputs defining the
investigated variables, leading to a potential new hierarchy and new ladder of
causality. We aim an critical issue in the emerging topic of LLM based causal
structure learning, to tackle erroneous prior causal statements from LLM, which
is seldom considered in the current context of expert dominating prior
resources. As a pioneer attempt, we propose a BN learning strategy resilient to
prior errors without need of human intervention. Focusing on the edge-level
prior, we classify the possible prior errors into three types:
order-consistent, order-reversed, and irrelevant, and provide their theoretical
impact on the Structural Hamming Distance (SHD) under the presumption of
sufficient data. Intriguingly, we discover and prove that only the
order-reversed error contributes to an increase in a unique acyclic closed
structure, defined as a "quasi-circle". Leveraging this insight, a post-hoc
strategy is employed to identify the order-reversed prior error by its impact
on the increment of "quasi-circles". Through empirical evaluation on both real
and synthetic datasets, we demonstrate our strategy's robustness against prior
errors. Specifically, we highlight its substantial ability to resist
order-reversed errors while maintaining the majority of correct prior
knowledge.
- Abstract（参考訳）: 因果構造学習 (Causal structure learning) は、ベイズネットワーク(BN)を通して変数間の因果関係と効果関係を符号化する顕著な手法である。
実世界の観測データから単に因果構造を復元することは精度に欠ける一方、LLM(Large Language Models)の開発は因果関係の新しいフロンティアを開きつつある。
LLMは、変数間の因果関係を、調査された変数を定義する"text"入力で発見する強力な能力を示し、潜在的に新しい階層と因果関係の新たなはしごをもたらす。
我々は, LLM による因果構造学習の新たな課題として, LLM からの誤った因果文に対処することを目指している。
先駆的な試みとして,人間の介入を必要とせず,事前エラーに耐性のあるBN学習戦略を提案する。
エッジレベル事前に注目することで,事前の誤りを順序整合,順序反転,無関係の3つのタイプに分類し,十分なデータを仮定した構造ハミング距離 (shd) に理論的影響を与える。
興味深いことに、オーダー逆誤差のみが「準円」として定義される一意な非巡回閉構造の増加に寄与することを発見し、証明する。
この知見を生かしたポストホック戦略は、"準円"の増大に対する影響によって、秩序が逆転する事前エラーを特定するために用いられる。
実データと合成データの両方に対する経験的評価を通じて,事前の誤りに対する戦略の堅牢性を示す。
具体的には、正しい事前知識の大多数を維持しながら、オーダー逆誤差に抵抗する実質的な能力を強調します。
関連論文リスト
- Language Model Cascades: Token-level uncertainty and beyond [65.38515344964647]
言語モデル(LM)の最近の進歩により、複雑なNLPタスクの品質が大幅に向上した。
Cascadingは、より好ましいコスト品質のトレードオフを達成するためのシンプルな戦略を提供する。
トークンレベルの不確実性を学習後遅延ルールに組み込むことで,単純な集約戦略を著しく上回ることを示す。
論文 参考訳（メタデータ） (2024-04-15T21:02:48Z) - Cause and Effect: Can Large Language Models Truly Understand Causality? [1.2334534968968969]
本研究では,CARE CA(Content Aware Reasoning Enhancement with Counterfactual Analysis)フレームワークという新しいアーキテクチャを提案する。
提案するフレームワークには,ConceptNetと反ファクト文を備えた明示的な因果検出モジュールと,大規模言語モデルによる暗黙的な因果検出が組み込まれている。
ConceptNetの知識は、因果的発見、因果的識別、反事実的推論といった複数の因果的推論タスクのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2024-02-28T08:02:14Z) - Enhancing Systematic Decompositional Natural Language Inference Using
Informal Logic [53.363888563647976]
我々は,分解包含データセットに注釈を付けるための一貫した理論的なアプローチを開発した。
得られたデータセットRDTEは,従来よりも内部整合性(+9%)が高いことがわかった。
また, 知識蒸留によるRDTE指向エンテーメント分類器の訓練や, 現代のニューロシンボリック推論エンジンへの導入により, 結果が大幅に向上することが確認された。
論文 参考訳（メタデータ） (2024-02-22T18:55:17Z) - Discovery of the Hidden World with Large Language Models [100.38157787218044]
COAT: Causal representatiOn AssistanTについて紹介する。
COATは、非構造化データから潜在的な因果因子を抽出する因子プロジェクタとしてLLMを組み込んでいる。
LLMはデータ値の収集に使用される追加情報を提供するよう指示することもできる。
論文 参考訳（メタデータ） (2024-02-06T12:18:54Z) - DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。
我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。
DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
論文 参考訳（メタデータ） (2024-01-19T03:48:27Z) - Can We Utilize Pre-trained Language Models within Causal Discovery
Algorithms? [0.2303687191203919]
事前学習言語モデル(PLM)の因果推論は、テキストベースの記述にのみ依存する。
PLMから得られた事前知識を因果探索アルゴリズムと統合する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-19T03:31:30Z) - Towards Causal Foundation Model: on Duality between Causal Inference and Attention [18.046388712804042]
治療効果推定のための因果認識基盤モデルの構築に向けて第一歩を踏み出す。
我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的に正当化された手法を提案する。
論文 参考訳（メタデータ） (2023-10-01T22:28:34Z) - From Query Tools to Causal Architects: Harnessing Large Language Models
for Advanced Causal Discovery from Data [19.264745484010106]
大規模言語モデル (LLM) は、多くの社会的影響のある領域における概念間の因果解析の優れた能力を示す。
様々な因果発見および推論タスクにおけるLLM性能に関する最近の研究は、因果関係の古典的な3段階の枠組みに新たなはしごを生じさせている。
本稿では,知識に基づくLLM因果解析とデータ駆動因果構造学習を組み合わせた新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-06-29T12:48:00Z) - Prequential MDL for Causal Structure Learning with Neural Networks [9.669269791955012]
ベイジアンネットワークの実用的スコアリング関数を導出するために,事前最小記述長の原理が利用できることを示す。
我々は、調整しなければならない事前やその他の正規化子を誘導するスパーシリティに頼ることなく、可塑性および擬似グラフ構造を得る。
本研究は, 適応速度から因果構造を推定する最近の研究と, 分布変化の源泉から観測結果が得られた場合の因果構造との関係について考察する。
論文 参考訳（メタデータ） (2021-07-02T22:35:21Z) - Variational Causal Networks: Approximate Bayesian Inference over Causal
Structures [132.74509389517203]
離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。
実験では,提案した変分後部が真の後部を良好に近似できることを示した。
論文 参考訳（メタデータ） (2021-06-14T17:52:49Z) - CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。
CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
論文 参考訳（メタデータ） (2020-09-28T09:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。