論文の概要: SMITE: Enhancing Fairness in LLMs through Optimal In-Context Example Selection via Dynamic Validation

• arxiv url: http://arxiv.org/abs/2508.17735v1
• Date: Mon, 25 Aug 2025 07:22:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.672466
• Title: SMITE: Enhancing Fairness in LLMs through Optimal In-Context Example Selection via Dynamic Validation
• Title（参考訳）: SMITE:動的検証による最適文脈選択によるLLMの公平性向上
• Authors: Garima Chhikara, Kripabandhu Ghosh, Abhijnan Chakraborty,
• Abstract要約: 本研究では,Large Language Models(LLMs)の性能と公平性を高める新しいアプローチを提案する。 本稿では,従来の静的検証手法を代替して,テストセットと並行して進化する動的検証セットを提案する。 提案手法は,ベースライン法と比較して予測精度と公平性の両方を有意に向上させることを示す。
• 参考スコア（独自算出の注目度）: 6.853912853826401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are widely used for downstream tasks such as tabular classification, where ensuring fairness in their outputs is critical for inclusivity, equal representation, and responsible AI deployment. This study introduces a novel approach to enhancing LLM performance and fairness through the concept of a dynamic validation set, which evolves alongside the test set, replacing the traditional static validation approach. We also propose an iterative algorithm, SMITE, to select optimal in-context examples, with each example set validated against its corresponding dynamic validation set. The in-context set with the lowest total error is used as the final demonstration set. Our experiments across four different LLMs show that our proposed techniques significantly improve both predictive accuracy and fairness compared to baseline methods. To our knowledge, this is the first study to apply dynamic validation in the context of in-context learning for LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、アウトプットの公平性の確保がインクリシティ、平等表現、AIデプロイメントの責任を負うような、表層分類などの下流タスクに広く使用されている。 本研究では,従来の静的な検証手法を代替して,テストセットと並行して進化する動的検証セットの概念を通じて,LCMの性能と公平性を向上させる新しいアプローチを提案する。 また,テキスト中の最適な例を選択するための反復アルゴリズムであるSMITEを提案し,各例を対応する動的検証セットに対して検証する。 最終デモセットとして、最小全誤差のコンテキストセットが使用される。 提案手法は, ベースライン法と比較して, 予測精度と公正性の両方を有意に向上させることを示した。 我々の知る限り、LLMの文脈内学習に動的検証を適用した最初の研究である。

関連論文リスト

• Large Language Models are Demonstration Pre-Selectors for Themselves [57.101804269100185]
  大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。 FEw yet Essential Demonstration prE-selectoRは、デモの代表的なサブセットを特定する新しい事前選択フレームワークである。 FEwでもEssential Demonstration prE-selectoRは、パフォーマンスを維持しながら、トレーニングデータのサイズを20%以上削減できる。
  論文  参考訳（メタデータ） (2025-06-06T12:29:03Z)
• Test-Time Learning for Large Language Models [33.11605667376906]
  大規模言語モデル(LLM)のためのテスト時間学習(TTL)パラダイムを提案する。 LLMはテスト中にラベルなしのテストデータのみを使用してターゲットドメインに動的に適応する。 TLMはドメイン知識適応における元のLLMと比較して少なくとも20%性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-05-27T02:18:59Z)
• Realistic Test-Time Adaptation of Vision-Language Models [23.972884634610413]
  VLM(Vision-Language Models)は、予測性能を改善するために広く活用されている。 トランスダクティブまたはテストタイム適応(TTA)に関する以前の研究は、しばしばデータ分布について強い仮定を下す。 私たちの作業は、これらの好ましいデプロイメントシナリオに挑戦し、より現実的な評価フレームワークを導入します。
  論文  参考訳（メタデータ） (2025-01-07T12:17:25Z)
• Fair In-Context Learning via Latent Concept Variables [17.216196320585922]
  大規模言語モデル(LLM)は、学習前のデータから社会的偏見と差別を継承することができる。 我々は、予測結果と敏感な変数との相関を低減し、潜在概念学習における公平性の促進を支援するデータ強化戦略を設計する。
  論文  参考訳（メタデータ） (2024-11-04T23:10:05Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Aligning Language Models with Demonstrated Feedback [58.834937450242975]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• Which Examples to Annotate for In-Context Learning? Towards Effective and Efficient Selection [35.924633625147365]
  大規模言語モデル(LLM)は、文脈内学習(ICL)を介して新しいタスクに適応できる そこで本研究では,ICLのアクティブな学習手法について検討し,アノテートのための予算が限られている。 本稿では,モデルが不確実であることを示すモデル適応型最適化自由アルゴリズムAdaICLを提案する。
  論文  参考訳（メタデータ） (2023-10-30T22:03:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。