論文の概要: Towards Fair In-Context Learning with Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2505.09503v3
• Date: Fri, 01 Aug 2025 15:57:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 14:06:53.386264
• Title: Towards Fair In-Context Learning with Tabular Foundation Models
• Title（参考訳）: タブラル基礎モデルによる公平なインテクスト学習に向けて
• Authors: Patrik Kenfack, Samira Ebrahimi Kahou, Ulrich Aïvodji,
• Abstract要約: トランスフォーマーを用いたインコンテクスト学習(ICL)におけるフェアネスの最初の研究について述べる。 最近提案された3つの基盤モデル(TabPFNv2、TabICL、TabDPT)をベンチマークデータセットで評価した。 実験の結果、不確実性に基づく戦略は、予測精度に最小限の影響を伴って、グループフェアネスの指標を一貫して改善することが示された。
• 参考スコア（独自算出の注目度）: 6.4989916051093815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based tabular foundation models have recently demonstrated promising in-context learning (ICL) performance on structured data, emerging as competitive alternatives to gradient-boosted trees. However, the fairness implications of this new paradigm remain largely unexplored. We present the first investigation of fairness in tabular ICL, evaluating three recently proposed foundation models -- TabPFNv2, TabICL, and TabDPT -- on multiple benchmark datasets. To mitigate biases, we explore three pre-processing fairness-enhancing methods: correlation removal (decorrelating input features from the sensitive attribute), group-balanced sample selection (ensuring equal representation of protected groups in context examples), and uncertainty-based sample selection (prioritizing context examples with high sensitive-attribute prediction uncertainty). Our experiments show that the uncertainty-based strategy consistently improves group fairness metrics (e.g., demographic parity, equalized odds, and equal opportunity) with minimal impact on predictive accuracy. We release our code to facilitate reproducibility (https://github.com/patrikken/Fair-TabICL)
• Abstract（参考訳）: トランスフォーマーベースの表層基礎モデルは、最近、構造化データ上での有望なコンテキスト内学習(ICL)性能を実証し、勾配木に対する競合的な選択肢として浮上した。 しかし、この新しいパラダイムの公平さはいまだに未解明のままである。 最近提案された3つの基盤モデル(TabPFNv2、TabICL、TabDPT)を複数のベンチマークデータセット上で評価した。 バイアスを軽減するために、相関除去(感度属性からの入力特徴のデコレーション)、グループバランスされたサンプル選択(コンテキストサンプルにおける保護されたグループの平等な表現を保証する)、不確実性に基づくサンプル選択(高感度属性予測の不確実性を伴うコンテキストサンプルの優先順位付け)の3つの前処理フェアネス向上手法を検討する。 実験の結果、不確実性に基づく戦略は、予測精度に最小限の影響を伴って、グループフェアネスの指標(例えば、人口比率、等化確率、等化確率)を一貫して改善することが示された。 再現性を促進するためにコードをリリースします (https://github.com/patrikken/Fair-TabICL)。

関連論文リスト

• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [53.96714099151378]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• Exploring Imbalanced Annotations for Effective In-Context Learning [41.618125904839424]
  注釈付きデータセットにおける不均衡なクラス分布は、文脈内学習(ICL)の性能を著しく低下させることを示した。 本手法は,アノテートデータセットとテストデータセットの分布差を2成分重みに分解する。 提案手法は,従来の選択手法の有効性を保ちながら,単一のクラスから過剰なデモを選択することを防止する。
  論文  参考訳（メタデータ） (2025-02-06T12:57:50Z)
• Improving LLM Group Fairness on Tabular Data via In-Context Learning [23.53624663038328]
  大規模言語モデル(LLM)は、グループフェアネスを満たす予測、すなわち、グループ間で平等な結果を生成するのに失敗する。 本研究では,グループフェアネスを改善するための4つの経験的アプローチについて検討する。 本研究では,これらの手法が全体の性能を高く保ちながら,人口密度の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2024-12-05T22:23:30Z)
• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• Fairness without Sensitive Attributes via Knowledge Sharing [13.141672574114597]
  本稿では,信頼度に基づく階層型分類手法であるReckonerを提案する。 実験の結果、ReckonerはCompASデータセットとNew Adultデータセットにおいて、最先端のベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-09-27T06:16:14Z)
• Towards the Mitigation of Confirmation Bias in Semi-supervised Learning: a Debiased Training Perspective [6.164100243945264]
  半教師付き学習(SSL)は、モデルが特定のクラスを不均等に好むという、一般的に確認バイアスを示す。 SSLのデバイアスドトレーニングのための統合フレームワークであるTaMatchを紹介します。 TaMatchは,様々な課題の画像分類タスクにおいて,既存の最先端手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-26T21:50:30Z)
• Quantifying Prediction Consistency Under Fine-Tuning Multiplicity in Tabular LLMs [10.494477811252034]
  微調整多重度は分類タスクにおけるタブラル LLM に現れる。 我々の研究は、タブラルLLMにおける微調整多重性というこのユニークな挑戦を定式化する。 本稿では,コストのかかるモデル再訓練を伴わずに,個々の予測の一貫性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T22:22:09Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• GroupMixNorm Layer for Learning Fair Models [4.324785083027206]
  本研究では,ディープラーニングモデルからバイアスを緩和するための,内部処理に基づく新しいGroupMixNorm層を提案する。 提案手法は,全体の精度に最小限の影響を伴って,いくつかの公正度測定値を改善する。
  論文  参考訳（メタデータ） (2023-12-19T09:04:26Z)
• Fair Wasserstein Coresets [12.677866300850926]
  フェアな合成代表サンプルを生成する新しいコアセットであるフェア・ワッサースタイン・コアセット(FWC)を提示する。 FWCは、元のデータセットと重み付けされた合成サンプルの間のワッサースタイン距離を最小化するために効率的な多数決最小化アルゴリズムを使用している。 我々は、FWCの制約のないバージョンが、k-メディアンやk-平均クラスタリングのためのロイドのアルゴリズムと等価であることを示す。
  論文  参考訳（メタデータ） (2023-11-09T15:21:56Z)
• DAIL: Data Augmentation for In-Context Learning via Self-Paraphrase [37.68804898063595]
  In-Context Learning (ICL)と事前訓練された大規模言語モデルを組み合わせることで、様々なNLPタスクにおいて有望な結果が得られた。 textbfData textbfAugmentation for textbfIn-Context textbfLearning (textbfDAIL)を提案する。
  論文  参考訳（メタデータ） (2023-11-06T18:12:55Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling [77.15766509677348]
  条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。 これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。 この問題を緩和するための一般的な2段階戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-05T08:09:33Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。