論文の概要: Towards Causal Foundation Model: on Duality between Causal Inference and Attention

• arxiv url: http://arxiv.org/abs/2310.00809v1
• Date: Sun, 1 Oct 2023 22:28:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 01:49:48.813355
• Title: Towards Causal Foundation Model: on Duality between Causal Inference and Attention
• Title（参考訳）: 因果基礎モデルに向けて:因果推論と注意の双対性について
• Authors: Jiaqi Zhang, Joel Jennings, Cheng Zhang, Chao Ma
• Abstract要約: 複雑なタスクのための因果認識基盤モデルを構築するための第一歩を踏み出します。 我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的手法を提案する。
• 参考スコア（独自算出の注目度）: 14.14921309395866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models have brought changes to the landscape of machine learning, demonstrating sparks of human-level intelligence across a diverse array of tasks. However, a gap persists in complex tasks such as causal inference, primarily due to challenges associated with intricate reasoning steps and high numerical precision requirements. In this work, we take a first step towards building causally-aware foundation models for complex tasks. We propose a novel, theoretically sound method called Causal Inference with Attention (CInA), which utilizes multiple unlabeled datasets to perform self-supervised causal learning, and subsequently enables zero-shot causal inference on unseen tasks with new data. This is based on our theoretical results that demonstrate the primal-dual connection between optimal covariate balancing and self-attention, facilitating zero-shot causal inference through the final layer of a trained transformer-type architecture. We demonstrate empirically that our approach CInA effectively generalizes to out-of-distribution datasets and various real-world datasets, matching or even surpassing traditional per-dataset causal inference methodologies.
• Abstract（参考訳）: 基盤モデルが機械学習のランドスケープに変化をもたらし、さまざまなタスクにわたる人間レベルのインテリジェンスの火花を見せている。 しかし、因果推論のような複雑なタスクにおいてギャップは持続し、主に複雑な推論ステップと高い数値的精度の要求に関連する課題が原因である。 本研究では,複雑なタスクに対する因果認識基盤モデル構築に向けた第一歩を踏み出す。 提案手法は,複数のラベルのないデータセットを用いて自己教師付き因果学習を行い,その後に新たなデータを用いた未知タスクに対するゼロショット因果推論を可能にする。 これは、最適共変量バランスと自己アテンションの原始的双対関係を実証し、訓練されたトランスフォーマー型アーキテクチャの最終層を通してゼロショット因果推論を容易にする理論結果に基づいている。 我々は,我々のアプローチであるCInAが,従来のデータセットごとの因果推論手法をマッチングあるいは超越して,配布外のデータセットやさまざまな実世界のデータセットに効果的に一般化できることを実証的に実証した。

関連論文リスト

• DAG-aware Transformer for Causal Effect Estimation [0.8192907805418583]
  因果推論は、医療、経済学、社会科学などの分野における重要な課題である。 本稿では,これらの課題を克服する因果推論のためのトランスフォーマーを用いた新しい手法を提案する。 我々のモデルの中核となる革新は、注意機構に直接因果非巡回グラフ(DAG)を統合することである。
  論文  参考訳（メタデータ） (2024-10-13T23:17:58Z)
• Deriving Causal Order from Single-Variable Interventions: Guarantees & Algorithm [14.980926991441345]
  介入データを含むデータセットは,データ分布に関する現実的な仮定の下で効果的に抽出可能であることを示す。 観察的および介入的設定における各変数の限界分布の比較に依拠する介入忠実性を導入する。 また、多数の単一変数の介入を含むデータセットから因果順序を推測するアルゴリズムであるIntersortを導入する。
  論文  参考訳（メタデータ） (2024-05-28T16:07:17Z)
• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• SLEM: Machine Learning for Path Modeling and Causal Inference with Super Learner Equation Modeling [3.988614978933934]
  因果推論は科学の重要な目標であり、研究者は観測データを使って意味のある結論に達することができる。 経路モデル、構造方程式モデル(SEM)および指向非巡回グラフ(DAG)は、現象の根底にある因果構造に関する仮定を明確に特定する手段を提供する。 本稿では,機械学習のスーパーラーナーアンサンブルを統合したパスモデリング手法であるSuper Learner Equation Modelingを提案する。
  論文  参考訳（メタデータ） (2023-08-08T16:04:42Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Causal Triplet: An Open Challenge for Intervention-centric Causal Representation Learning [98.78136504619539]
  Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。 この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-12T17:43:38Z)
• From Causal Pairs to Causal Graphs [1.5469452301122175]
  観測データから学習する因果構造は、非自明な課題である。 NIPS 2013 Workshop on Causality Challengeにより、我々は異なるアプローチを採り、可能な全てのグラフに確率分布を生成する。 本研究の目的は,この確率的情報に基づく新しい手法を提案し,その性能を従来の手法や最先端の手法と比較することである。
  論文  参考訳（メタデータ） (2022-11-08T15:28:55Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• A Critical View of the Structural Causal Model [89.43277111586258]
  相互作用を全く考慮せずに原因と効果を識別できることが示される。 本稿では,因果モデルの絡み合った構造を模倣する新たな逆行訓練法を提案する。 我々の多次元手法は, 合成および実世界の両方のデータセットにおいて, 文献的手法よりも優れている。
  論文  参考訳（メタデータ） (2020-02-23T22:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。