論文の概要: Does Predictive Performance Translate to Causal Performance? Evaluating tabular foundation models as nuisance learners for causal effect estimation
- arxiv url: http://arxiv.org/abs/2611.11381v1
- Date: Sun, 08 Nov 2026 13:41:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.006958
- Title: Does Predictive Performance Translate to Causal Performance? Evaluating tabular foundation models as nuisance learners for causal effect estimation
- Title(参考訳): 予測性能は因果性能に変換されるか? : 因果効果推定のためのニュアンス学習者としての表層基礎モデルの評価
- Abstract要約: 先行データ付きネットワーク(PFN)に基づくタブラル基礎モデルでは,高い予測性能が得られたが,因果推論に対する価値は明らかになっていない。
本研究では,文脈内学習によって予測されるPFNが,従来のニュアンス学習者と一致するか,あるいは優れているかを,正確な因果推定を支援するために評価した。
- 参考スコア(独自算出の注目度): 13.624762571325414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tabular foundation models based on prior-data fitted networks (PFNs) achieve strong predictive performance, but their value for causal inference is unclear. We evaluated whether PFNs, which predict through in-context learning, could match or outperform conventional nuisance learners in supporting accurate causal estimation and reliable uncertainty quantification (inference). Learners modeled propensity scores and outcome regressions within doubly robust estimators of average causal effects, with and without cross-fitting, across synthetic and semi-synthetic settings with varying confounding complexity and effect heterogeneity. Under simple parametric data-generating processes, the PFNs were competitive with correctly specified parametric regressions and ensembles containing them. In more complex settings, they outperformed all conventional learners evaluated, including richly specified Super Learner ensembles, for both accuracy and uncertainty quantification. As sample size increased, only the two PFN models (TabPFN and Mitra) consistently approached nominal confidence interval coverage, whereas under-coverage persisted for conventional learners. In some settings, PFNs achieved near-nominal coverage and well-calibrated standard errors even without cross-fitting. At the smallest sample size (n=200) and in the higher-dimensional semi-synthetic settings, PFNs and other flexible learners exhibited poor coverage without cross-fitting. For PFNs, this appeared to be driven by propensity score overfitting consistent with in-sample memorization of treatment labels. These findings highlight the promise of prior-data fitted networks as in-context nuisance learners for causal estimation, while underscoring the need for further evaluation in challenging settings.
- Abstract(参考訳): 先行データ付きネットワーク(PFN)に基づくタブラル基礎モデルでは,高い予測性能が得られたが,因果推論に対する価値は明らかになっていない。
我々は,文脈内学習によって予測されるPFNが,正確な因果推定と確実な不確実性定量化(推論)を支援するために,従来のニュアンス学習者と一致するか,あるいは優れているかを評価した。
学習者は平均因果効果の2倍に頑健な推定器内の確率スコアと結果の回帰を、相反する複雑さと不均一性の異なる合成的および半合成的設定でモデル化した。
単純なパラメトリックデータ生成プロセスの下では、PFNは正確に指定されたパラメトリック回帰とそれらを含むアンサンブルと競合していた。
より複雑な設定では、精度と不確実性の定量化の両方のために、リッチに指定されたSuper Learnerアンサンブルを含む、評価されたすべての従来の学習者より優れていた。
サンプルサイズが大きくなるにつれて、2つのPFNモデル(TabPFNとMitra)のみが名目的信頼区間のカバレッジに一貫してアプローチし、一方アンダーカバーは従来の学習者に対して持続した。
いくつかの設定では、PFNはクロスフィッティングなしでほぼ最小限のカバレッジと正常な標準エラーを達成した。
最小のサンプルサイズ (n=200) と高次元半合成条件では, PFNと他の柔軟な学習者は, クロスフィットを伴わずにカバー範囲が低かった。
PFNは, 治療ラベルの標本内記憶と整合性に適合し, 適合性が高いことが示唆された。
これらの知見は, 因果推定のための文脈内ニュアンス学習者としての事前データ対応ネットワークの実現と, 挑戦的な状況下でのさらなる評価の必要性を浮き彫りにしている。
関連論文リスト
- Frequentist Consistency of Prior-Data Fitted Networks for Causal Inference [49.70323515651261]
先行データ適合ネットワーク(PFN)に基づく基礎モデルは因果推論において強い経験的性能を示した。
PFNに基づく因果推定器が古典的頻繁な推定器と整合した不確実な定量化を提供するかどうかは不明である。
論文 参考訳(メタデータ) (2026-03-12T15:14:35Z) - Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
制約を克服するオイラー法に対する全変分に基づく解析法を開発した。
その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。
全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
論文 参考訳(メタデータ) (2026-02-26T00:47:51Z) - Causal Pre-training Under the Fairness Lens: An Empirical Study of TabPFN [3.059960033014892]
Tabular Prior-data Fitted Network (TabPFN) とその微調整版の評価を行った。
以上の結果から,TabPFNはベースラインに比べて高い予測精度を達成できるが,公平性の改善は適度で矛盾することがわかった。
以上の結果から,TabPFNの因果前訓練はアルゴリズム的公平性には不十分であることが示唆された。
論文 参考訳(メタデータ) (2026-01-25T17:17:12Z) - SynCast: Synergizing Contradictions in Precipitation Nowcasting via Diffusion Sequential Preference Optimization [62.958457694151384]
本研究では,大規模な言語モデルにおける人的フィードバックからの強化学習の成功を動機として,降水量の最適化を初めて導入する。
第一段階では、フレームワークはFARを減らすことに焦点を当て、誤報を効果的に抑えるためにモデルを訓練する。
論文 参考訳(メタデータ) (2025-10-22T16:11:22Z) - Mitigating Spurious Correlations in LLMs via Causality-Aware Post-Training [57.03005244917803]
大規模言語モデル (LLMs) は、事前学習中に得られた素早い相関関係により、アウト・オブ・ディストリビューション (OOD) のサンプルで失敗することが多い。
ここでは、因果認識後学習(CAPT)を通して、このような素因的相関を緩和することを目的とする。
公式因果推論ベンチマークCLadderと論理推論データセットPrOntoQAの実験により、CAPTで微調整された3Bスケールの言語モデルでは、従来のSFTおよびより大きなLLMを分散処理(ID)およびOODタスクで上回る結果が得られた。
論文 参考訳(メタデータ) (2025-06-11T06:30:28Z) - Federated Nonparametric Hypothesis Testing with Differential Privacy Constraints: Optimal Rates and Adaptive Tests [5.3595271893779906]
フェデレート学習は、さまざまな場所でデータが収集され分析される広範囲な設定で適用可能であることから、近年大きな注目を集めている。
分散差分プライバシー(DP)制約下でのホワイトノイズ・ウィズ・ドリフトモデルにおける非パラメトリック適合性試験について検討した。
論文 参考訳(メタデータ) (2024-06-10T19:25:19Z) - C-Learner: Constrained Learning for Causal Inference [4.370964009390564]
本稿では,両世界の最適な重み付けを実現し,安定したプラグイン推定を実現する新しいデバイアス化手法を提案する。
我々の制約学習フレームワークは、プラグイン量に対する一階誤差がゼロであるという制約の下で、最高のプラグイン推定器を解く。
論文 参考訳(メタデータ) (2024-05-15T16:38:28Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳(メタデータ) (2021-04-12T18:50:11Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳(メタデータ) (2020-04-21T23:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。