論文の概要: Towards Fair In-Context Learning with Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2505.09503v2
• Date: Thu, 15 May 2025 03:13:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 12:00:18.788009
• Title: Towards Fair In-Context Learning with Tabular Foundation Models
• Title（参考訳）: タブラル基礎モデルによる公平なインテクスト学習に向けて
• Authors: Patrik Kenfack, Samira Ebrahimi Kahou, Ulrich Aïvodji,
• Abstract要約: タブラル基礎モデルは構造化データに強いコンテキスト内学習(ICL)能力を示す。 本稿では,ICLの公平性について検討し,偏見に対処する3つの前処理戦略について検討する。 実験により、不確実性に基づく実演選択は、文脈内予測の群フェアネスを一貫して向上させることが示された。
• 参考スコア（独自算出の注目度）: 6.4989916051093815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular foundational models have exhibited strong in-context learning (ICL) capabilities on structured data, allowing them to make accurate predictions on test sets without parameter updates, using training examples as context. This emerging approach positions itself as a competitive alternative to traditional gradient-boosted tree methods. However, while biases in conventional machine learning models are well documented, it remains unclear how these biases manifest in tabular ICL. The paper investigates the fairness implications of tabular ICL and explores three preprocessing strategies--correlation removal, group-balanced demonstration selection, and uncertainty-based demonstration selection--to address bias. Comprehensive experiments indicate that uncertainty-based demonstration selection consistently enhances group fairness of in-context predictions. The source code for reproducing the results of this work can be found at https://github.com/patrikken/Fair-TabICL.
• Abstract（参考訳）: タブラル基礎モデルは、構造化データに対して強力なコンテキスト内学習(ICL)能力を示しており、トレーニング例をコンテキストとして使用して、パラメータ更新なしでテストセット上で正確な予測を行うことができる。 この新たなアプローチは、従来の勾配木法と競合するものとして位置づけられている。 しかし、従来の機械学習モデルにおけるバイアスは十分に文書化されているものの、これらのバイアスが表のICLでどのように現れるかは定かではない。 本研究は,表型ICLの公平性について検討し,相関除去,グループバランスによる実演選択,不確実性に基づく実演選択という3つの前処理戦略について検討する。 包括的実験により、不確実性に基づく実演選択は、文脈内予測の群フェアネスを一貫して向上させることが示された。 この作業の結果を再現するソースコードはhttps://github.com/patrikken/Fair-TabICL.comにある。

関連論文リスト

• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [53.96714099151378]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• Exploring Imbalanced Annotations for Effective In-Context Learning [41.618125904839424]
  注釈付きデータセットにおける不均衡なクラス分布は、文脈内学習(ICL)の性能を著しく低下させることを示した。 本手法は,アノテートデータセットとテストデータセットの分布差を2成分重みに分解する。 提案手法は,従来の選択手法の有効性を保ちながら,単一のクラスから過剰なデモを選択することを防止する。
  論文  参考訳（メタデータ） (2025-02-06T12:57:50Z)
• Improving LLM Group Fairness on Tabular Data via In-Context Learning [23.53624663038328]
  大規模言語モデル(LLM)は、グループフェアネスを満たす予測、すなわち、グループ間で平等な結果を生成するのに失敗する。 本研究では,グループフェアネスを改善するための4つの経験的アプローチについて検討する。 本研究では,これらの手法が全体の性能を高く保ちながら,人口密度の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2024-12-05T22:23:30Z)
• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• Fairness without Sensitive Attributes via Knowledge Sharing [13.141672574114597]
  本稿では,信頼度に基づく階層型分類手法であるReckonerを提案する。 実験の結果、ReckonerはCompASデータセットとNew Adultデータセットにおいて、最先端のベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-09-27T06:16:14Z)
• Towards the Mitigation of Confirmation Bias in Semi-supervised Learning: a Debiased Training Perspective [6.164100243945264]
  半教師付き学習(SSL)は、モデルが特定のクラスを不均等に好むという、一般的に確認バイアスを示す。 SSLのデバイアスドトレーニングのための統合フレームワークであるTaMatchを紹介します。 TaMatchは,様々な課題の画像分類タスクにおいて,既存の最先端手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-26T21:50:30Z)
• Quantifying Prediction Consistency Under Fine-Tuning Multiplicity in Tabular LLMs [10.494477811252034]
  微調整多重度は分類タスクにおけるタブラル LLM に現れる。 我々の研究は、タブラルLLMにおける微調整多重性というこのユニークな挑戦を定式化する。 本稿では,コストのかかるモデル再訓練を伴わずに,個々の予測の一貫性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T22:22:09Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• GroupMixNorm Layer for Learning Fair Models [4.324785083027206]
  本研究では,ディープラーニングモデルからバイアスを緩和するための,内部処理に基づく新しいGroupMixNorm層を提案する。 提案手法は,全体の精度に最小限の影響を伴って,いくつかの公正度測定値を改善する。
  論文  参考訳（メタデータ） (2023-12-19T09:04:26Z)
• Fair Wasserstein Coresets [12.677866300850926]
  フェアな合成代表サンプルを生成する新しいコアセットであるフェア・ワッサースタイン・コアセット(FWC)を提示する。 FWCは、元のデータセットと重み付けされた合成サンプルの間のワッサースタイン距離を最小化するために効率的な多数決最小化アルゴリズムを使用している。 我々は、FWCの制約のないバージョンが、k-メディアンやk-平均クラスタリングのためのロイドのアルゴリズムと等価であることを示す。
  論文  参考訳（メタデータ） (2023-11-09T15:21:56Z)
• DAIL: Data Augmentation for In-Context Learning via Self-Paraphrase [37.68804898063595]
  In-Context Learning (ICL)と事前訓練された大規模言語モデルを組み合わせることで、様々なNLPタスクにおいて有望な結果が得られた。 textbfData textbfAugmentation for textbfIn-Context textbfLearning (textbfDAIL)を提案する。
  論文  参考訳（メタデータ） (2023-11-06T18:12:55Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling [77.15766509677348]
  条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。 これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。 この問題を緩和するための一般的な2段階戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-05T08:09:33Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。