Fugu-MT 論文翻訳(概要): LLM-initialized Differentiable Causal Discovery

論文の概要: LLM-initialized Differentiable Causal Discovery

arxiv url: http://arxiv.org/abs/2410.21141v1
Date: Mon, 28 Oct 2024 15:43:31 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-29 12:17:48.080045
Title: LLM-initialized Differentiable Causal Discovery
Title（参考訳）: LLM-initialized Differentiable Causal Discovery
Authors: Shiv Kampani, David Hidary, Constantijn van der Poel, Martin Ganahl, Brenda Miao,
Abstract要約: 異なる因果発見法(DCD)は、観測データから因果関係を明らかにするのに有効である。しかしながら、これらのアプローチは限定的な解釈可能性に悩まされ、ドメイン固有の事前知識を取り入れる際の課題に直面します。本稿では,Large Language Models(LLM)に基づく因果探索手法を提案する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: The discovery of causal relationships between random variables is an important yet challenging problem that has applications across many scientific domains. Differentiable causal discovery (DCD) methods are effective in uncovering causal relationships from observational data; however, these approaches often suffer from limited interpretability and face challenges in incorporating domain-specific prior knowledge. In contrast, Large Language Models (LLMs)-based causal discovery approaches have recently been shown capable of providing useful priors for causal discovery but struggle with formal causal reasoning. In this paper, we propose LLM-DCD, which uses an LLM to initialize the optimization of the maximum likelihood objective function of DCD approaches, thereby incorporating strong priors into the discovery method. To achieve this initialization, we design our objective function to depend on an explicitly defined adjacency matrix of the causal graph as its only variational parameter. Directly optimizing the explicitly defined adjacency matrix provides a more interpretable approach to causal discovery. Additionally, we demonstrate higher accuracy on key benchmarking datasets of our approach compared to state-of-the-art alternatives, and provide empirical evidence that the quality of the initialization directly impacts the quality of the final output of our DCD approach. LLM-DCD opens up new opportunities for traditional causal discovery methods like DCD to benefit from future improvements in the causal reasoning capabilities of LLMs.
Abstract（参考訳）: ランダム変数間の因果関係の発見は、多くの科学的領域にまたがる応用を持つ重要な問題である。異なる因果発見法(DCD)は、観測データから因果関係を明らかにするのに有効であるが、これらの手法は限定的な解釈可能性に悩まされ、ドメイン固有の事前知識を取り入れるという課題に直面していることが多い。対照的に、Large Language Models(LLMs)ベースの因果発見アプローチは、因果発見に有用な先行手段を提供するが、正式な因果推論に苦慮している。本稿では,LCMを用いたLCM-DCDを提案し,DCD手法の最大目標関数の最適化を初期化することにより,発見手法に強い先行性を組み込む。この初期化を実現するために、我々は、因果グラフの明示的に定義された隣接行列を唯一の変分パラメータとして依存するように、目的関数を設計する。明確に定義された隣接行列を直接最適化することは、因果発見に対するより解釈可能なアプローチを提供する。さらに,本手法の重要なベンチマークデータセットについて,最先端の代替手法と比較して高い精度を示すとともに,初期化の質がDCDアプローチの最終出力の品質に直接影響を与えるという実証的な証拠を提供する。 LLM-DCDは、LCMの因果推論能力の将来の改善の恩恵を受けるために、DCDのような従来の因果発見手法の新しい機会を開く。

関連論文リスト

Efficient Reinforcement Learning with Large Language Model Priors [18.72288751305885]
大規模言語モデル(LLM)は、最近、強力な汎用ツールとして登場した。本稿では,従来の行動分布としてLLMを扱い,それらをRLフレームワークに統合することを提案する。 LLMに基づくアクションの事前処理を取り入れることで、探索と複雑性の最適化が大幅に削減されることを示す。
論文参考訳（メタデータ） (2024-10-10T13:54:11Z)
Making Large Language Models Better Planners with Reasoning-Decision Alignment [70.5381163219608]
マルチモーダリティ強化LLMに基づくエンドツーエンド意思決定モデルを提案する。ペア化されたCoTと計画結果との推論・決定アライメントの制約を提案する。提案する大規模言語プランナをRDA-Driverとして推論・決定アライメントする。
論文参考訳（メタデータ） (2024-08-25T16:43:47Z)
Large Language Models are Effective Priors for Causal Graph Discovery [6.199818486385127]
専門家によって提供された背景知識を統合して仮説空間を縮小することにより、観測による因果構造発見を改善することができる。近年,Large Language Models (LLMs) は,人的専門家に対するクエリコストの低さから,事前情報源として考えられ始めている。
論文参考訳（メタデータ） (2024-05-22T11:39:11Z)
Unified Source-Free Domain Adaptation [44.95240684589647]
ソーストレーニングデータにアクセスせずにソースモデルをターゲットドメインに転送する目的で、Source-Free Domain Adaptation (SFDA)が広く研究されている。我々はLCFD(Latent Causal Factors Discovery)と呼ばれる新しい手法を提案する。現実の統計的記述の学習を強調する従来の代替手段とは対照的に、因果性の観点からLCFDを定式化する。
論文参考訳（メタデータ） (2024-03-12T12:40:08Z)
Discovery of the Hidden World with Large Language Models [95.58823685009727]
本稿では,大きな言語モデル(LLM)を導入してギャップを埋めるCausal representatiOn AssistanT(COAT)を提案する。 LLMは世界中の大規模な観測に基づいて訓練されており、構造化されていないデータから重要な情報を抽出する優れた能力を示している。 COATはまた、特定変数間の因果関係を見つけるためにCDを採用し、提案された要因を反復的に洗練するためにLSMにフィードバックを提供する。
論文参考訳（メタデータ） (2024-02-06T12:18:54Z)
Causal Inference Using LLM-Guided Discovery [34.040996887499425]
グラフ変数(因果順序)に対する位相的順序は、因果効果の推論にのみ十分であることを示す。本稿では,Large Language Models (LLMs) から因果順序を求める頑健な手法を提案する。提案手法は発見アルゴリズムと比較して因果順序精度を大幅に向上させる。
論文参考訳（メタデータ） (2023-10-23T17:23:56Z)
Mitigating Prior Errors in Causal Structure Learning: Towards LLM driven Prior Knowledge [17.634793921251777]
我々は,Large Language Models (LLM) の誤った因果文に対処することを目指している。先駆的な試みとして,人間の介入を必要とせず,事前エラーに耐性のあるBN学習戦略を提案する。具体的には、正しい事前知識の大多数を維持しながら、オーダー逆誤差に抵抗する実質的な能力を強調します。
論文参考訳（メタデータ） (2023-06-12T11:24:48Z)
Differentiable Invariant Causal Discovery [106.87950048845308]
観測データから因果構造を学ぶことは、機械学習の基本的な課題である。本稿では,不特定変分因果解法(DICD)を提案する。合成および実世界のデータセットに関する大規模な実験は、DICDがSHDの36%まで最先端の因果発見手法より優れていることを検証している。
論文参考訳（メタデータ） (2022-05-31T09:29:07Z)
MissDAG: Causal Discovery in the Presence of Missing Data with Continuous Additive Noise Models [78.72682320019737]
不完全な観測データから因果発見を行うため,MissDAGと呼ばれる一般的な手法を開発した。 MissDAGは、期待-最大化の枠組みの下で観測の可視部分の期待される可能性を最大化する。各種因果探索アルゴリズムを組み込んだMissDAGの柔軟性について,広範囲なシミュレーションと実データ実験により検証した。
論文参考訳（メタデータ） (2022-05-27T09:59:46Z)
BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。近年の進歩により、観測データからDAGの有効最大点推定が可能となった。線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
論文参考訳（メタデータ） (2021-12-06T03:35:21Z)
False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文参考訳（メタデータ） (2021-10-24T15:34:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。