論文の概要: Towards Fair In-Context Learning with Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2505.09503v1
• Date: Wed, 14 May 2025 15:53:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.520338
• Title: Towards Fair In-Context Learning with Tabular Foundation Models
• Title（参考訳）: タブラル基礎モデルによる公平なインテクスト学習に向けて
• Authors: Patrik Kenfack, Samira Ebrahimi Kaho, Ulrich Aïvodji,
• Abstract要約: タブラル基礎モデルは構造化データに強いコンテキスト内学習(ICL)能力を示す。 本稿では,ICLの公平性について検討し,偏見に対処する3つの前処理戦略について検討する。 実験により、不確実性に基づく実演選択は、文脈内予測の群フェアネスを一貫して向上させることが示された。
• 参考スコア（独自算出の注目度）: 2.426921356582883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular foundational models have exhibited strong in-context learning (ICL) capabilities on structured data, allowing them to make accurate predictions on test sets without parameter updates, using training examples as context. This emerging approach positions itself as a competitive alternative to traditional gradient-boosted tree methods. However, while biases in conventional machine learning models are well documented, it remains unclear how these biases manifest in tabular ICL. The paper investigates the fairness implications of tabular ICL and explores three preprocessing strategies--correlation removal, group-balanced demonstration selection, and uncertainty-based demonstration selection--to address bias. Comprehensive experiments indicate that uncertainty-based demonstration selection consistently enhances group fairness of in-context predictions. The source code for reproducing the results of this work can be found at https://github.com/patrikken/Fair-TabICL.
• Abstract（参考訳）: タブラル基礎モデルは、構造化データに対して強力なコンテキスト内学習(ICL)能力を示しており、トレーニング例をコンテキストとして使用して、パラメータ更新なしでテストセット上で正確な予測を行うことができる。 この新たなアプローチは、従来の勾配木法と競合するものとして位置づけられている。 しかし、従来の機械学習モデルにおけるバイアスは十分に文書化されているものの、これらのバイアスが表のICLでどのように現れるかは定かではない。 本研究は,表型ICLの公平性について検討し,相関除去,グループバランスによる実演選択,不確実性に基づく実演選択という3つの前処理戦略について検討する。 包括的実験により、不確実性に基づく実演選択は、文脈内予測の群フェアネスを一貫して向上させることが示された。 この作業の結果を再現するソースコードはhttps://github.com/patrikken/Fair-TabICL.comにある。

関連論文リスト

• Exploring Imbalanced Annotations for Effective In-Context Learning [41.618125904839424]
  注釈付きデータセットにおける不均衡なクラス分布は、文脈内学習(ICL)の性能を著しく低下させることを示した。 本手法は,アノテートデータセットとテストデータセットの分布差を2成分重みに分解する。 提案手法は,従来の選択手法の有効性を保ちながら,単一のクラスから過剰なデモを選択することを防止する。
  論文  参考訳（メタデータ） (2025-02-06T12:57:50Z)
• Improving LLM Group Fairness on Tabular Data via In-Context Learning [23.53624663038328]
  大規模言語モデル(LLM)は、グループフェアネスを満たす予測、すなわち、グループ間で平等な結果を生成するのに失敗する。 本研究では,グループフェアネスを改善するための4つの経験的アプローチについて検討する。 本研究では,これらの手法が全体の性能を高く保ちながら,人口密度の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2024-12-05T22:23:30Z)
• Towards the Mitigation of Confirmation Bias in Semi-supervised Learning: a Debiased Training Perspective [6.164100243945264]
  半教師付き学習(SSL)は、モデルが特定のクラスを不均等に好むという、一般的に確認バイアスを示す。 SSLのデバイアスドトレーニングのための統合フレームワークであるTaMatchを紹介します。 TaMatchは,様々な課題の画像分類タスクにおいて,既存の最先端手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-26T21:50:30Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• DAIL: Data Augmentation for In-Context Learning via Self-Paraphrase [37.68804898063595]
  In-Context Learning (ICL)と事前訓練された大規模言語モデルを組み合わせることで、様々なNLPタスクにおいて有望な結果が得られた。 textbfData textbfAugmentation for textbfIn-Context textbfLearning (textbfDAIL)を提案する。
  論文  参考訳（メタデータ） (2023-11-06T18:12:55Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。