論文の概要: Towards Causal Foundation Model: on Duality between Causal Inference and
Attention
- arxiv url: http://arxiv.org/abs/2310.00809v1
- Date: Sun, 1 Oct 2023 22:28:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 01:49:48.813355
- Title: Towards Causal Foundation Model: on Duality between Causal Inference and
Attention
- Title(参考訳): 因果基礎モデルに向けて:因果推論と注意の双対性について
- Authors: Jiaqi Zhang, Joel Jennings, Cheng Zhang, Chao Ma
- Abstract要約: 複雑なタスクのための因果認識基盤モデルを構築するための第一歩を踏み出します。
我々はCInA(Causal Inference with Attention)と呼ばれる新しい理論的手法を提案する。
- 参考スコア(独自算出の注目度): 14.14921309395866
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models have brought changes to the landscape of machine learning,
demonstrating sparks of human-level intelligence across a diverse array of
tasks. However, a gap persists in complex tasks such as causal inference,
primarily due to challenges associated with intricate reasoning steps and high
numerical precision requirements. In this work, we take a first step towards
building causally-aware foundation models for complex tasks. We propose a
novel, theoretically sound method called Causal Inference with Attention
(CInA), which utilizes multiple unlabeled datasets to perform self-supervised
causal learning, and subsequently enables zero-shot causal inference on unseen
tasks with new data. This is based on our theoretical results that demonstrate
the primal-dual connection between optimal covariate balancing and
self-attention, facilitating zero-shot causal inference through the final layer
of a trained transformer-type architecture. We demonstrate empirically that our
approach CInA effectively generalizes to out-of-distribution datasets and
various real-world datasets, matching or even surpassing traditional
per-dataset causal inference methodologies.
- Abstract(参考訳): 基盤モデルが機械学習のランドスケープに変化をもたらし、さまざまなタスクにわたる人間レベルのインテリジェンスの火花を見せている。
しかし、因果推論のような複雑なタスクにおいてギャップは持続し、主に複雑な推論ステップと高い数値的精度の要求に関連する課題が原因である。
本研究では,複雑なタスクに対する因果認識基盤モデル構築に向けた第一歩を踏み出す。
提案手法は,複数のラベルのないデータセットを用いて自己教師付き因果学習を行い,その後に新たなデータを用いた未知タスクに対するゼロショット因果推論を可能にする。
これは、最適共変量バランスと自己アテンションの原始的双対関係を実証し、訓練されたトランスフォーマー型アーキテクチャの最終層を通してゼロショット因果推論を容易にする理論結果に基づいている。
我々は,我々のアプローチであるCInAが,従来のデータセットごとの因果推論手法をマッチングあるいは超越して,配布外のデータセットやさまざまな実世界のデータセットに効果的に一般化できることを実証的に実証した。
関連論文リスト
- Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。
ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。
また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
論文 参考訳(メタデータ) (2024-02-04T05:50:38Z) - Causal Triplet: An Open Challenge for Intervention-centric Causal
Representation Learning [98.78136504619539]
Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。
この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
論文 参考訳(メタデータ) (2023-01-12T17:43:38Z) - From Causal Pairs to Causal Graphs [1.5469452301122175]
観測データから学習する因果構造は、非自明な課題である。
NIPS 2013 Workshop on Causality Challengeにより、我々は異なるアプローチを採り、可能な全てのグラフに確率分布を生成する。
本研究の目的は,この確率的情報に基づく新しい手法を提案し,その性能を従来の手法や最先端の手法と比較することである。
論文 参考訳(メタデータ) (2022-11-08T15:28:55Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳(メタデータ) (2022-05-25T17:37:08Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳(メタデータ) (2022-04-16T08:08:29Z) - Generalizable Information Theoretic Causal Representation [37.54158138447033]
本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。
この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
論文 参考訳(メタデータ) (2022-02-17T00:38:35Z) - Learning Neural Causal Models with Active Interventions [83.44636110899742]
本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。
本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。
シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-06T13:10:37Z) - A Critical View of the Structural Causal Model [89.43277111586258]
相互作用を全く考慮せずに原因と効果を識別できることが示される。
本稿では,因果モデルの絡み合った構造を模倣する新たな逆行訓練法を提案する。
我々の多次元手法は, 合成および実世界の両方のデータセットにおいて, 文献的手法よりも優れている。
論文 参考訳(メタデータ) (2020-02-23T22:52:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。