論文の概要: Foundation Models for Causal Inference via Prior-Data Fitted Networks

• arxiv url: http://arxiv.org/abs/2506.10914v1
• Date: Thu, 12 Jun 2025 17:29:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.865204
• Title: Foundation Models for Causal Inference via Prior-Data Fitted Networks
• Title（参考訳）: 事前データフィットネットワークによる因果推論のための基礎モデル
• Authors: Yuchen Ma, Dennis Frauen, Emil Javurek, Stefan Feuerriegel,
• Abstract要約: CausalFMは、様々な因果推論設定でPFNベースの基礎モデルをトレーニングするためのフレームワークである。 PFNは、予め指定された事前分布から生成された合成データに基づいて事前訓練された変換器である。 各種合成および半合成ベンチマークを用いて,CausalFMがCATE推定に競争力を発揮することを示す。
• 参考スコア（独自算出の注目度）: 23.968657851616086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior-data fitted networks (PFNs) have recently been proposed as a promising way to train tabular foundation models. PFNs are transformers that are pre-trained on synthetic data generated from a prespecified prior distribution and that enable Bayesian inference through in-context learning. In this paper, we introduce CausalFM, a comprehensive framework for training PFN-based foundation models in various causal inference settings. First, we formalize the construction of Bayesian priors for causal inference based on structural causal models (SCMs) in a principled way and derive necessary criteria for the validity of such priors. Building on this, we propose a novel family of prior distributions using causality-inspired Bayesian neural networks that enable CausalFM to perform Bayesian causal inference in various settings, including back-door, front-door, and instrumental variable adjustment. Finally, we instantiate CausalFM and explicitly train a foundation model for estimating conditional average treatment effects (CATEs) using back-door adjustment. We show that CausalFM performs competitively for CATE estimation using various synthetic and semi-synthetic benchmarks. In sum, our framework can be used as a general recipe to train foundation models for various causal inference settings. In contrast to the current state-of-the-art in causal inference, CausalFM offers a novel paradigm with the potential to fundamentally change how practitioners perform causal inference in medicine, economics, and other disciplines.
• Abstract（参考訳）: PFN(Predor-data fited Network)は、最近、表形式の基礎モデルをトレーニングするための有望な方法として提案されている。 PFNは、予め指定された事前分布から生成された合成データに基づいて事前訓練され、文脈内学習によるベイズ推論を可能にする変換器である。 本稿では,様々な因果推論設定において,PFNに基づく基礎モデルを学習するための包括的フレームワークCausalFMを紹介する。 まず、構造因果モデル(SCM)に基づく因果推論のためのベイズ事前の構成を原則的に定式化し、その妥当性について必要な基準を導出する。 そこで我々は,CausalFMがバックドア,フロントドア,インストゥルメンタル変数調整などの様々な設定でベイズ的因果推論を行えるように,因果性に着想を得たベイズ的ニューラルネットワークを用いて,事前分布の新たなファミリを提案する。 最後に、CausalFMをインスタンス化し、バックドア調整を用いて条件平均治療効果(CATE)を推定するための基礎モデルを明示的に訓練する。 各種合成および半合成ベンチマークを用いて,CausalFMがCATE推定に競争力を発揮することを示す。 まとめると、我々のフレームワークは様々な因果推論設定のための基礎モデルを訓練するための一般的なレシピとして利用できる。 因果推論の現在の最先端とは対照的に、CausalFMは、医療、経済学、その他の分野において実践者が因果推論を行う方法を根本的に変える可能性のある、新しいパラダイムを提供する。

関連論文リスト

• CausalPFN: Amortized Causal Effect Estimation via In-Context Learning [15.645599403885605]
  CausalPFNは、新しい観測データセットに因果効果を推定する。 提案手法は,不均一および平均処理効果評価ベンチマークにおいて,優れた平均性能を実現する。 CausalPFNはベイズ原理に基づく信頼性の高い意思決定を支援するために、校正された不確実性推定を提供する。
  論文  参考訳（メタデータ） (2025-06-09T16:31:06Z)
• Generative Flow Networks: Theory and Applications to Structure Learning [7.6872614776094]
  この論文は、ベイズの観点からの構造学習の問題を研究する。 ジェネレーティブフローネットワーク(GFlowNets)を導入 GFlowNetsは、生成をシーケンシャルな意思決定問題として扱う。
  論文  参考訳（メタデータ） (2025-01-09T17:47:17Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 これらの課題に対処するための影響関数フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Causal Inference Based Single-branch Ensemble Trees For Uplift Modeling [9.923694628777744]
  本稿では,因果推論に基づく単枝アンサンブル木を用いたアップリフトモデリング,すなわちCIETを提案する。 2つの分割基準は、治療群と対照群の間の結果分布の差を最大化するように設計されている。 CIETは、アップリフト曲線(AUUC)とカイニ係数の両方の観点から、アップリフトモデリングの従来の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-02-03T06:22:00Z)
• Diffusion Causal Models for Counterfactual Estimation [18.438307666925425]
  本稿では,観測画像データから因果構造を推定する作業について考察する。 Diff-SCMは,近年の発電エネルギーモデルの発展を基盤とした構造因果モデルである。 Diff-SCMはMNISTデータに基づくベースラインよりも現実的で最小限のデファクトアルを生成しており、ImageNetデータにも適用可能である。
  論文  参考訳（メタデータ） (2022-02-21T12:23:01Z)
• Meta-Learning with Shared Amortized Variational Inference [33.54630534228469]
  経験的ベイズメタラーニングモデルのための新しいアモータイズされた変分推論手法を提案する。 変動型オートエンコーダ手法を用いて、限られた訓練データに条件付きモデルパラメータの事前分布を学習する。
  論文  参考訳（メタデータ） (2020-08-27T10:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。