論文の概要: Learning Causal Graphs at Scale: A Foundation Model Approach

• arxiv url: http://arxiv.org/abs/2506.18285v1
• Date: Mon, 23 Jun 2025 04:41:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.857062
• Title: Learning Causal Graphs at Scale: A Foundation Model Approach
• Title（参考訳）: 因果グラフを大規模に学習する - 基礎モデルアプローチ
• Authors: Naiyu Yin, Tian Gao, Yue Yu,
• Abstract要約: 複数線形構造方程式モデル(SEM)を学習するための新しい注意機構に基づくアーキテクチャであるAttention-DAG(ADAG)を提案する。 ADAGは、非線形アテンションベースのカーネルを介して、観測データからグラフ構造とパラメータの両方へのマッピングを学習する。 提案手法をベンチマークデータセット上で評価し,DAG学習精度とゼロショット推論効率の両方において,ADAGが大幅に向上することを確認した。
• 参考スコア（独自算出の注目度）: 28.966180222166766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to its human-interpretability and invariance properties, Directed Acyclic Graph (DAG) has been a foundational tool across various areas of AI research, leading to significant advancements. However, DAG learning remains highly challenging, due to its super-exponential growth in computational cost and identifiability issues, particularly in small-sample regimes. To address these two challenges, in this work we leverage the recent success of linear transformers and develop a foundation model approach for discovering multiple order-consistent DAGs across tasks. In particular, we propose Attention-DAG (ADAG), a novel attention-mechanism-based architecture for learning multiple linear Structural Equation Models (SEMs). ADAG learns the mapping from observed data to both graph structure and parameters via a nonlinear attention-based kernel, enabling efficient multi-task estimation of the underlying linear SEMs. By formulating the learning process across multiple tasks as a continuous optimization problem, the pre-trained ADAG model captures the common structural properties as a shared low-dimensional prior, thereby reducing the ill-posedness of downstream DAG learning tasks in small-sample regimes. We evaluate our proposed approach on benchmark synthetic datasets and find that ADAG achieves substantial improvements in both DAG learning accuracy and zero-shot inference efficiency. To the best of our knowledge, this is the first practical approach for pre-training a foundation model specifically designed for DAG learning, representing a step toward more efficient and generalizable down-stream applications in causal discovery.
• Abstract（参考訳）: 人間の解釈可能性と不変性のため、DAG(Directed Acyclic Graph)はAI研究の様々な分野における基礎的なツールであり、大きな進歩をもたらした。 しかし、DAG学習は計算コストの超過激な増加と識別可能性の問題、特に小規模の制度において、非常に困難なままである。 この2つの課題に対処するために、線形トランスフォーマーの最近の成功を活用し、タスク間で複数の順序整合DAGを発見するための基礎モデルアプローチを開発する。 特に,複数線形構造方程式モデル(SEM)を学習するための新しい注意機構に基づくアーキテクチャであるAttention-DAG(ADAG)を提案する。 ADAGは、観測データから非線形アテンションベースのカーネルを通じて、グラフ構造とパラメータの両方へのマッピングを学習し、基礎となる線形SEMの効率的なマルチタスク推定を可能にする。 複数のタスクにまたがる学習プロセスを連続最適化問題として定式化することにより、事前学習されたADAGモデルは、共通構造特性を共有低次元先行としてキャプチャし、小さなサンプルシステムにおける下流DAG学習タスクの不適切さを低減する。 提案手法をベンチマークデータセット上で評価し,DAG学習精度とゼロショット推論効率の両方において,ADAGが大幅に向上することを確認した。 我々の知る限り、これはDAG学習用に特別に設計された基礎モデルを事前学習する最初の実践的アプローチであり、因果発見におけるより効率的で一般化可能なダウンストリームアプリケーションに向けた一歩である。

関連論文リスト

• Transfer Learning with Foundational Models for Time Series Forecasting using Low-Rank Adaptations [0.0]
  本研究は,時系列予測タスクに対するFM,Large Language Modelsの直接的な適応手法であるLLIAMを提案する。 LLIAMとRecurrent Neural NetworksやTemporal Convolutional Networks、LLMベースのTimeLLMなど、さまざまな最先端DLアルゴリズムのパフォーマンスの比較を行った。 本研究の結果はLLIAMの有効性を実証し, この単純かつ汎用的なアプローチは, 複雑な修正を加える必要がなくなることなく, 有能な結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-10-15T12:14:01Z)
• MTLSO: A Multi-Task Learning Approach for Logic Synthesis Optimization [19.13500546022262]
  MTLSOは論理合成最適化のためのマルチタスク学習手法である。 一次回帰タスクと並行して,二元多ラベルグラフ分類の補助タスクを導入する。 また、階層的なグラフ表現学習戦略を用いて、表現力のあるグラフレベルの表現を学習するためのモデルの能力を向上させる。
  論文  参考訳（メタデータ） (2024-09-09T21:20:36Z)
• Discovering Dynamic Causal Space for DAG Structure Learning [64.763763417533]
  本稿では,DAG構造学習のための動的因果空間であるCASPERを提案する。 グラフ構造をスコア関数に統合し、因果空間における新しい尺度として、推定真理DAGと基底真理DAGの因果距離を忠実に反映する。
  論文  参考訳（メタデータ） (2023-06-05T12:20:40Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• DAGs with No Curl: An Efficient DAG Structure Learning Approach [62.885572432958504]
  近年のDAG構造学習は連続的な非巡回性制約を伴う制約付き連続最適化問題として定式化されている。 本稿では,DAG空間の重み付き隣接行列を直接モデル化し,学習するための新しい学習フレームワークを提案する。 本手法は, 線形および一般化された構造方程式モデルにおいて, ベースラインDAG構造学習法よりも精度が高いが, 効率がよいことを示す。
  論文  参考訳（メタデータ） (2021-06-14T07:11:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。