論文の概要: Causal Pre-training Under the Fairness Lens: An Empirical Study of TabPFN

• arxiv url: http://arxiv.org/abs/2601.17912v2
• Date: Tue, 27 Jan 2026 11:11:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:50.97081
• Title: Causal Pre-training Under the Fairness Lens: An Empirical Study of TabPFN
• Title（参考訳）: フェアネスレンズ下での因果前訓練 : TabPFNの実証的研究
• Authors: Qinyi Liu, Mohammad Khalil, Naman Goel,
• Abstract要約: Tabular Prior-data Fitted Network (TabPFN) とその微調整版の評価を行った。 以上の結果から,TabPFNはベースラインに比べて高い予測精度を達成できるが,公平性の改善は適度で矛盾することがわかった。 以上の結果から,TabPFNの因果前訓練はアルゴリズム的公平性には不十分であることが示唆された。
• 参考スコア（独自算出の注目度）: 3.059960033014892
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Foundation models for tabular data, such as the Tabular Prior-data Fitted Network (TabPFN), are pre-trained on a massive number of synthetic datasets generated by structural causal models (SCM). They leverage in-context learning to offer high predictive accuracy in real-world tasks. However, the fairness properties of these foundational models, which incorporate ideas from causal reasoning during pre-training, remain underexplored. In this work, we conduct a comprehensive empirical evaluation of TabPFN and its fine-tuned variants, assessing predictive performance, fairness, and robustness across varying dataset sizes and distributional shifts. Our results reveal that while TabPFN achieves stronger predictive accuracy compared to baselines and exhibits robustness to spurious correlations, improvements in fairness are moderate and inconsistent, particularly under missing-not-at-random (MNAR) covariate shifts. These findings suggest that the causal pre-training in TabPFN is helpful but insufficient for algorithmic fairness, highlighting implications for deploying TabPFN (and similar) models in practice and the need for further fairness interventions.
• Abstract（参考訳）: Tabular Prior-data Fitted Network (TabPFN) のような表データの基本モデルは、構造因果モデル(SCM)によって生成される膨大な数の合成データセットで事前訓練されている。 コンテキスト内学習を利用して、現実世界のタスクに高い予測精度を提供する。 しかし、これらの基礎モデルの公平性は、事前学習中に因果推論からアイデアを取り入れたままである。 本研究では,TabPFNとその微調整された変種を包括的に評価し,様々なデータセットサイズと分布シフトの予測性能,公平性,堅牢性を評価する。 以上の結果から,TabPFNはベースラインに比べて高い予測精度を達成し,相関関係の促進に頑健性を示すが,公平性の改善は中等度で矛盾する。 これらの結果から,TabPFNの因果前訓練はアルゴリズムフェアネスには不十分であり,TabPFN(および類似)モデルを実際に展開する上での意義と,さらなるフェアネス介入の必要性が示唆された。

関連論文リスト

• Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
  時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。 微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。 モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T07:07:13Z)
• Tabular foundation model for GEOAI benchmark problems BM/AirportSoilProperties/2/2025 [2.07098502859192]
  本稿では,GEOAIベンチマークBM/AirportSoilProperties/2/2025で定義されたサイト特性問題に対する Tabular Prior-Data Fitted Network (TabPFN) の新たな応用について述べる。 我々は、TabPFNをゼロトレーニング、少数ショット、空間内学習設定に適用し、大きな間接データベース(BID)から追加のコンテキストを提供する。 この研究は、TabPFNが汎用基礎モデルとして優れた精度とよく校正された予測分布を達成したことを示す。
  論文  参考訳（メタデータ） (2025-09-03T10:21:18Z)
• Multiply Robust Conformal Risk Control with Coarsened Data [0.0]
  コンフォーマル予測(CP)は近年,膨大な関心を集めている。 本稿では、粗いデータから得られる結果に対して、分布自由な有効予測領域を得るという一般的な問題について考察する。 半パラメトリック理論の原則的利用は、フレキシブルな機械学習手法の促進の鍵となる利点を持つ。
  論文  参考訳（メタデータ） (2025-08-21T12:14:44Z)
• Towards Fair In-Context Learning with Tabular Foundation Models [6.4989916051093815]
  トランスフォーマーを用いたインコンテクスト学習(ICL)におけるフェアネスの最初の研究について述べる。 最近提案された3つの基盤モデル(TabPFNv2、TabICL、TabDPT)をベンチマークデータセットで評価した。 実験の結果、不確実性に基づく戦略は、予測精度に最小限の影響を伴って、グループフェアネスの指標を一貫して改善することが示された。
  論文  参考訳（メタデータ） (2025-05-14T15:53:14Z)
• Effortless, Simulation-Efficient Bayesian Inference using Tabular Foundation Models [14.125143586947177]
  本研究では,TabPFNをSBIの自己回帰条件密度推定器として用いる方法を示す。 NPE-PFNは、推論ネットワークの選択、トレーニング、ハイパーパラメータチューニングの必要性を排除する。 モデルミス特定に優れたロバスト性を示し、TabPFNのコンテキストサイズ限界を超えるシミュレーション予算にスケールできる。
  論文  参考訳（メタデータ） (2025-04-24T15:29:39Z)
• EquiTabPFN: A Target-Permutation Equivariant Prior Fitted Networks [55.214444066134114]
  我々は、同変エンコーダ、デコーダ、およびバイアテンション機構を介し、完全にターゲット同変のアーキテクチャに適応する置換不変性を設計する。 標準分類ベンチマークの実証的評価は、事前学習中に見られたクラス数より多いデータセットでは、我々のモデルは計算オーバーヘッドを低く抑えながら既存の手法と一致または超えていることを示している。
  論文  参考訳（メタデータ） (2025-02-10T17:11:20Z)
• A recursive Bayesian neural network for constitutive modeling of sands under monotonic and cyclic loading [0.0]
  工学において、モデルは様々な排水条件、ストレスパス、ロード履歴をまたいだ土壌の挙動を捉える中心となる。 本研究では,時間列学習を一般化推論で統一する再帰的ベイズニューラルネットワーク(rBNN)フレームワークを提案する。 このフレームワークは、シミュレートされた3軸テストと実験的な3軸テストの両方にまたがる4つのデータセットに対して検証される。
  論文  参考訳（メタデータ） (2025-01-17T10:15:03Z)
• Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data [39.40116554523575]
  In-Context Learning with a Prior-Data Fitted Network に基づく新しいアプローチである Drift-Resilient TabPFN を提案する。 先行した合成データセットのベイズ推定を近似することを学ぶ。 精度は0.688から0.744に向上し、OC AUCは0.786から0.832に向上し、キャリブレーションも強化された。
  論文  参考訳（メタデータ） (2024-11-15T23:49:23Z)
• Quantifying Prediction Consistency Under Fine-Tuning Multiplicity in Tabular LLMs [10.494477811252034]
  微調整多重度は分類タスクにおけるタブラル LLM に現れる。 我々の研究は、タブラルLLMにおける微調整多重性というこのユニークな挑戦を定式化する。 本稿では,コストのかかるモデル再訓練を伴わずに,個々の予測の一貫性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T22:22:09Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting [69.30930115236228]
  確率的階層的時系列予測は時系列予測の重要な変種である。 ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。 ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
  論文  参考訳（メタデータ） (2023-10-17T20:30:16Z)
• Causality-oriented robustness: exploiting general noise interventions [4.64479351797195]
  本稿では因果性指向のロバスト性に着目し,不変勾配(DRIG)を用いた分布ロバスト性を提案する。 DRIGはトレーニングデータにおける一般的なノイズ介入を利用して、目に見えない介入に対する堅牢な予測を行う。 我々のフレームワークには特別なケースとしてアンカー回帰が含まれており、より多様な摂動から保護される予測モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-07-18T16:22:50Z)
• Chasing Fairness Under Distribution Shift: A Model Weight Perturbation Approach [72.19525160912943]
  まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。 次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。 これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
  論文  参考訳（メタデータ） (2023-03-06T17:19:23Z)
• Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions [59.284907093349425]
  大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
  論文  参考訳（メタデータ） (2022-07-28T17:36:24Z)
• When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting [69.30930115236228]
  確率的階層的時系列予測は時系列予測の重要な変種である。 ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。 ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
  論文  参考訳（メタデータ） (2022-06-16T06:13:53Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Elastic weight consolidation for better bias inoculation [24.12790037712358]
  EWC(Elastic Weight Consolidation)は、モデルの微調整によってバイアスを緩和する。 EWCは標準的な微調整を支配し、元の(バイアス付き)データセットを忘れるレベルの低いモデルを生成する。
  論文  参考訳（メタデータ） (2020-04-29T17:45:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。