論文の概要: Mitigating Prior Errors in Causal Structure Learning: Towards LLM driven
Prior Knowledge
- arxiv url: http://arxiv.org/abs/2306.07032v1
- Date: Mon, 12 Jun 2023 11:24:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 15:00:30.154214
- Title: Mitigating Prior Errors in Causal Structure Learning: Towards LLM driven
Prior Knowledge
- Title（参考訳）: 因果構造学習における事前エラーの軽減--LLMによる事前知識を目指して
- Authors: Lyuzhou Chen, Taiyu Ban, Xiangyu Wang, Derui Lyu, Huanhuan Chen
- Abstract要約: 我々は,Large Language Models (LLM) の誤った因果文に対処することを目指している。
先駆的な試みとして,人間の介入を必要とせず,事前エラーに耐性のあるBN学習戦略を提案する。
具体的には、正しい事前知識の大多数を維持しながら、オーダー逆誤差に抵抗する実質的な能力を強調します。
- 参考スコア（独自算出の注目度）: 17.634793921251777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Causal structure learning, a prominent technique for encoding cause and
effect relationships among variables, through Bayesian Networks (BNs). Merely
recovering causal structures from real-world observed data lacks precision,
while the development of Large Language Models (LLM) is opening a new frontier
of causality. LLM presents strong capability in discovering causal
relationships between variables with the "text" inputs defining the
investigated variables, leading to a potential new hierarchy and new ladder of
causality. We aim an critical issue in the emerging topic of LLM based causal
structure learning, to tackle erroneous prior causal statements from LLM, which
is seldom considered in the current context of expert dominating prior
resources. As a pioneer attempt, we propose a BN learning strategy resilient to
prior errors without need of human intervention. Focusing on the edge-level
prior, we classify the possible prior errors into three types:
order-consistent, order-reversed, and irrelevant, and provide their theoretical
impact on the Structural Hamming Distance (SHD) under the presumption of
sufficient data. Intriguingly, we discover and prove that only the
order-reversed error contributes to an increase in a unique acyclic closed
structure, defined as a "quasi-circle". Leveraging this insight, a post-hoc
strategy is employed to identify the order-reversed prior error by its impact
on the increment of "quasi-circles". Through empirical evaluation on both real
and synthetic datasets, we demonstrate our strategy's robustness against prior
errors. Specifically, we highlight its substantial ability to resist
order-reversed errors while maintaining the majority of correct prior
knowledge.
- Abstract（参考訳）: 因果構造学習 (Causal structure learning) は、ベイズネットワーク(BN)を通して変数間の因果関係と効果関係を符号化する顕著な手法である。
実世界の観測データから単に因果構造を復元することは精度に欠ける一方、LLM(Large Language Models)の開発は因果関係の新しいフロンティアを開きつつある。
LLMは、変数間の因果関係を、調査された変数を定義する"text"入力で発見する強力な能力を示し、潜在的に新しい階層と因果関係の新たなはしごをもたらす。
我々は, LLM による因果構造学習の新たな課題として, LLM からの誤った因果文に対処することを目指している。
先駆的な試みとして,人間の介入を必要とせず,事前エラーに耐性のあるBN学習戦略を提案する。
エッジレベル事前に注目することで,事前の誤りを順序整合,順序反転,無関係の3つのタイプに分類し,十分なデータを仮定した構造ハミング距離 (shd) に理論的影響を与える。
興味深いことに、オーダー逆誤差のみが「準円」として定義される一意な非巡回閉構造の増加に寄与することを発見し、証明する。
この知見を生かしたポストホック戦略は、"準円"の増大に対する影響によって、秩序が逆転する事前エラーを特定するために用いられる。
実データと合成データの両方に対する経験的評価を通じて,事前の誤りに対する戦略の堅牢性を示す。
具体的には、正しい事前知識の大多数を維持しながら、オーダー逆誤差に抵抗する実質的な能力を強調します。
関連論文リスト
- LLM-initialized Differentiable Causal Discovery [0.0]
異なる因果発見法(DCD)は、観測データから因果関係を明らかにするのに有効である。
しかしながら、これらのアプローチは限定的な解釈可能性に悩まされ、ドメイン固有の事前知識を取り入れる際の課題に直面します。
本稿では,Large Language Models(LLM)に基づく因果探索手法を提案する。
論文 参考訳（メタデータ） (2024-10-28T15:43:31Z) - Metacognitive Myopia in Large Language Models [0.0]
大規模言語モデル(LLM)は、文化的に固有のステレオタイプ、クラウドの道徳的判断、あるいは多数派の肯定的な評価を強化する潜在的に有害なバイアスを示す。
認知・生態的枠組みとしてメタ認知ミオピアを提案する。
我々の理論的枠組みは, メタ認知, 監視, 制御の2つの要素が欠如していることが, メタ認知性ミオピアの5つの症状を引き起こすことを示唆している。
論文 参考訳（メタデータ） (2024-08-10T14:43:57Z) - Language Model Cascades: Token-level uncertainty and beyond [65.38515344964647]
言語モデル(LM)の最近の進歩により、複雑なNLPタスクの品質が大幅に向上した。
Cascadingは、より好ましいコスト品質のトレードオフを達成するためのシンプルな戦略を提供する。
トークンレベルの不確実性を学習後遅延ルールに組み込むことで,単純な集約戦略を著しく上回ることを示す。
論文 参考訳（メタデータ） (2024-04-15T21:02:48Z) - CausalBench: A Comprehensive Benchmark for Causal Learning Capability of LLMs [27.362012903540492]
因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
因果関係を理解する能力は、大言語モデル(LLM)の出力説明と反実的推論の能力に大きな影響を及ぼす。
論文 参考訳（メタデータ） (2024-04-09T14:40:08Z) - Cause and Effect: Can Large Language Models Truly Understand Causality? [1.2334534968968969]
本研究では,CARE CA(Content Aware Reasoning Enhancement with Counterfactual Analysis)フレームワークという新しいアーキテクチャを提案する。
提案するフレームワークには,ConceptNetと反ファクト文を備えた明示的な因果検出モジュールと,大規模言語モデルによる暗黙的な因果検出が組み込まれている。
ConceptNetの知識は、因果的発見、因果的識別、反事実的推論といった複数の因果的推論タスクのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2024-02-28T08:02:14Z) - Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic [51.967603572656266]
我々は,分解包含を注釈付けするための一貫した理論的なアプローチを導入する。
我々の新しいデータセットRDTEは、前回の分解エンターメントデータセットよりもかなり高い内部整合性(+9%)を持つことがわかった。
また,RDTE による知識蒸留によるエンテーメント分類器の訓練や,エンテーメントツリー推論エンジンへの導入により,精度と検証精度が向上することが確認された。
論文 参考訳（メタデータ） (2024-02-22T18:55:17Z) - Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。
ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。
また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
論文 参考訳（メタデータ） (2024-02-04T05:50:38Z) - DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。
我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。
DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
論文 参考訳（メタデータ） (2024-01-19T03:48:27Z) - From Query Tools to Causal Architects: Harnessing Large Language Models
for Advanced Causal Discovery from Data [19.264745484010106]
大規模言語モデル (LLM) は、多くの社会的影響のある領域における概念間の因果解析の優れた能力を示す。
様々な因果発見および推論タスクにおけるLLM性能に関する最近の研究は、因果関係の古典的な3段階の枠組みに新たなはしごを生じさせている。
本稿では,知識に基づくLLM因果解析とデータ駆動因果構造学習を組み合わせた新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-06-29T12:48:00Z) - Variational Causal Networks: Approximate Bayesian Inference over Causal
Structures [132.74509389517203]
離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。
実験では,提案した変分後部が真の後部を良好に近似できることを示した。
論文 参考訳（メタデータ） (2021-06-14T17:52:49Z) - CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。
CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
論文 参考訳（メタデータ） (2020-09-28T09:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。