論文の概要: Causal Pre-training Under the Fairness Lens: An Empirical Study of TabPFN

• arxiv url: http://arxiv.org/abs/2601.17912v1
• Date: Sun, 25 Jan 2026 17:17:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.531161
• Title: Causal Pre-training Under the Fairness Lens: An Empirical Study of TabPFN
• Title（参考訳）: フェアネスレンズ下での因果前訓練 : TabPFNの実証的研究
• Authors: Qinyi Liu, Mohammad Khalil, Naman Goel,
• Abstract要約: Tabular Prior-data Fitted Network (TabPFN) とその微調整版の評価を行った。 以上の結果から,TabPFNはベースラインに比べて高い予測精度を達成できるが,公平性の改善は適度で矛盾することがわかった。 以上の結果から,TabPFNの因果前訓練はアルゴリズム的公平性には不十分であることが示唆された。
• 参考スコア（独自算出の注目度）: 3.059960033014892
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Foundation models for tabular data, such as the Tabular Prior-data Fitted Network (TabPFN), are pre-trained on a massive number of synthetic datasets generated by structural causal models (SCM). They leverage in-context learning to offer high predictive accuracy in real-world tasks. However, the fairness properties of these foundational models, which incorporate ideas from causal reasoning during pre-training, have not yet been explored in sufficient depth. In this work, we conduct a comprehensive empirical evaluation of TabPFN and its fine-tuned variants, assessing predictive performance, fairness, and robustness across varying dataset sizes and distributional shifts. Our results reveal that while TabPFN achieves stronger predictive accuracy compared to baselines and exhibits robustness to spurious correlations, improvements in fairness are moderate and inconsistent, particularly under missing-not-at-random (MNAR) covariate shifts. These findings suggest that the causal pre-training in TabPFN is helpful but insufficient for algorithmic fairness, highlighting implications for deploying such models in practice and the need for further fairness interventions.
• Abstract（参考訳）: Tabular Prior-data Fitted Network (TabPFN) のような表データの基本モデルは、構造因果モデル(SCM)によって生成される膨大な数の合成データセットで事前訓練されている。 コンテキスト内学習を利用して、現実世界のタスクに高い予測精度を提供する。 しかし、これらの基礎モデルの公平性は、事前学習中に因果推論からアイデアを取り入れたものであり、まだ十分に深く研究されていない。 本研究では,TabPFNとその微調整された変種を包括的に評価し,様々なデータセットサイズと分布シフトの予測性能,公平性,堅牢性を評価する。 以上の結果から,TabPFNはベースラインに比べて高い予測精度を達成し,相関関係の促進に頑健性を示すが,公平性の改善は中等度で矛盾する。 これらの結果から,TabPFNの因果前訓練はアルゴリズムの公平性には役に立たないことが示唆された。

関連論文リスト

• Multiply Robust Conformal Risk Control with Coarsened Data [0.0]
  コンフォーマル予測(CP)は近年,膨大な関心を集めている。 本稿では、粗いデータから得られる結果に対して、分布自由な有効予測領域を得るという一般的な問題について考察する。 半パラメトリック理論の原則的利用は、フレキシブルな機械学習手法の促進の鍵となる利点を持つ。
  論文  参考訳（メタデータ） (2025-08-21T12:14:44Z)
• EquiTabPFN: A Target-Permutation Equivariant Prior Fitted Networks [55.214444066134114]
  我々は、同変エンコーダ、デコーダ、およびバイアテンション機構を介し、完全にターゲット同変のアーキテクチャに適応する置換不変性を設計する。 標準分類ベンチマークの実証的評価は、事前学習中に見られたクラス数より多いデータセットでは、我々のモデルは計算オーバーヘッドを低く抑えながら既存の手法と一致または超えていることを示している。
  論文  参考訳（メタデータ） (2025-02-10T17:11:20Z)
• A recursive Bayesian neural network for constitutive modeling of sands under monotonic and cyclic loading [0.0]
  工学において、モデルは様々な排水条件、ストレスパス、ロード履歴をまたいだ土壌の挙動を捉える中心となる。 本研究では,時間列学習を一般化推論で統一する再帰的ベイズニューラルネットワーク(rBNN)フレームワークを提案する。 このフレームワークは、シミュレートされた3軸テストと実験的な3軸テストの両方にまたがる4つのデータセットに対して検証される。
  論文  参考訳（メタデータ） (2025-01-17T10:15:03Z)
• Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data [39.40116554523575]
  In-Context Learning with a Prior-Data Fitted Network に基づく新しいアプローチである Drift-Resilient TabPFN を提案する。 先行した合成データセットのベイズ推定を近似することを学ぶ。 精度は0.688から0.744に向上し、OC AUCは0.786から0.832に向上し、キャリブレーションも強化された。
  論文  参考訳（メタデータ） (2024-11-15T23:49:23Z)
• Quantifying Prediction Consistency Under Fine-Tuning Multiplicity in Tabular LLMs [10.494477811252034]
  微調整多重度は分類タスクにおけるタブラル LLM に現れる。 我々の研究は、タブラルLLMにおける微調整多重性というこのユニークな挑戦を定式化する。 本稿では,コストのかかるモデル再訓練を伴わずに,個々の予測の一貫性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T22:22:09Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Causality-oriented robustness: exploiting general noise interventions [4.64479351797195]
  本稿では因果性指向のロバスト性に着目し,不変勾配(DRIG)を用いた分布ロバスト性を提案する。 DRIGはトレーニングデータにおける一般的なノイズ介入を利用して、目に見えない介入に対する堅牢な予測を行う。 我々のフレームワークには特別なケースとしてアンカー回帰が含まれており、より多様な摂動から保護される予測モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-07-18T16:22:50Z)
• Chasing Fairness Under Distribution Shift: A Model Weight Perturbation Approach [72.19525160912943]
  まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。 次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。 これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
  論文  参考訳（メタデータ） (2023-03-06T17:19:23Z)
• Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions [59.284907093349425]
  大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
  論文  参考訳（メタデータ） (2022-07-28T17:36:24Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。