Fugu-MT 論文翻訳(概要): Strategic Demonstration Selection for Improved Fairness in LLM In-Context Learning

論文の概要: Strategic Demonstration Selection for Improved Fairness in LLM In-Context Learning

arxiv url: http://arxiv.org/abs/2408.09757v1
Date: Mon, 19 Aug 2024 07:34:43 GMT
ステータス: 処理完了
システム内更新日: 2024-08-20 17:14:27.208159
Title: Strategic Demonstration Selection for Improved Fairness in LLM In-Context Learning
Title（参考訳）: LLMインテクスト学習における公平性向上のための戦略実証選択
Authors: Jingyu Hu, Weiru Liu, Mengnan Du,
Abstract要約: 本研究は,大規模言語モデル (LLM) の公平性にどう影響するかを検討する。少数派のサンプルを意図的に含むと、予測精度を犠牲にすることなく、公平性が著しく向上することがわかった。学習データから多種多様な代表的なサンプルをキュレートするために,クラスタリングと進化戦略を用いた緩和手法を導入する。
参考スコア（独自算出の注目度）: 18.782566259311206
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent studies highlight the effectiveness of using in-context learning (ICL) to steer large language models (LLMs) in processing tabular data, a challenging task given the structured nature of such data. Despite advancements in performance, the fairness implications of these methods are less understood. This study investigates how varying demonstrations within ICL prompts influence the fairness outcomes of LLMs. Our findings reveal that deliberately including minority group samples in prompts significantly boosts fairness without sacrificing predictive accuracy. Further experiments demonstrate that the proportion of minority to majority samples in demonstrations affects the trade-off between fairness and prediction accuracy. Based on these insights, we introduce a mitigation technique that employs clustering and evolutionary strategies to curate a diverse and representative sample set from the training data. This approach aims to enhance both predictive performance and fairness in ICL applications. Experimental results validate that our proposed method dramatically improves fairness across various metrics, showing its efficacy in real-world scenarios.
Abstract（参考訳）: 近年の研究では,テキスト内学習(ICL)を用いて表形式データ処理において大規模言語モデル(LLM)を操ることの有効性が注目されている。性能の進歩にもかかわらず、これらの手法の公平さは理解されていない。本研究は,ILC内の様々な実演がLLMの公平性にどのように影響するかを考察する。その結果,少数群のサンプルを意図的に含むと,予測精度を犠牲にすることなく,公平性が著しく向上することが明らかとなった。さらなる実験により、デモにおける少数派と多数派のサンプルの割合は、公正性と予測精度のトレードオフに影響を及ぼすことが示された。これらの知見に基づいて,クラスタリングと進化戦略を用いて,トレーニングデータから多種多様な代表的なサンプルをキュレートする緩和手法を導入する。このアプローチは、ICLアプリケーションの予測性能と公平性の両方を向上させることを目的としている。実験により,提案手法は実世界のシナリオにおける有効性を示すとともに,様々な指標の公平性を劇的に向上させることを確認した。

関連論文リスト

Fair In-Context Learning via Latent Concept Variables [17.216196320585922]
大規模言語モデル(LLM)は、学習前のデータから社会的偏見と差別を継承することができる。我々は、予測結果と敏感な変数との相関を低減し、潜在概念学習における公平性の促進を支援するデータ強化戦略を設計する。
論文参考訳（メタデータ） (2024-11-04T23:10:05Z)
DemoShapley: Valuation of Demonstrations for In-Context Learning [20.26604061802236]
インコンテキスト学習(ICL)を利用した大規模言語モデル(LLM)は、タスク固有の微調整を必要とせずに、様々なタスク間で数ショットの学習を行う新しいベンチマークを設定した。我々は、Data Shapleyの評価定理にインスパイアされたDemoShapleyを紹介する。この結果から,DemoShapleyは精度と公平性の観点からモデル性能を向上するだけでなく,コンテキスト内デモとは異なる領域からのクエリを一般化することがわかった。
論文参考訳（メタデータ） (2024-10-10T01:35:03Z)
Enhancing In-Context Learning via Implicit Demonstration Augmentation [26.78252788538567]
In-context Learning (ICL) は、事前訓練された言語モデルがパラメータを更新せずに未確認入力の予測を行うことを可能にする。その可能性にもかかわらず、ICLの有効性はデモの質、量、置換に大きく依存している。本稿では,この課題に初めて挑戦する。
論文参考訳（メタデータ） (2024-06-27T05:25:46Z)
Comprehensive Reassessment of Large-Scale Evaluation Outcomes in LLMs: A Multifaceted Statistical Approach [64.42462708687921]
評価の結果、スケーリング、トレーニングタイプ、アーキテクチャなどの要因がLLMのパフォーマンスに大きな影響を与えていることが明らかになった。本研究は, これらのLCMの徹底的な再検討に着手し, 現状評価手法における不整合性に着目した。これには、ANOVA、Tukey HSDテスト、GAMM、クラスタリング技術などが含まれる。
論文参考訳（メタデータ） (2024-03-22T14:47:35Z)
The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
論文参考訳（メタデータ） (2024-02-22T20:36:24Z)
In-Context Learning Demonstration Selection via Influence Analysis [11.504012974208466]
大規模言語モデル(LLM)は、ICL(In-Context Learning)機能を披露した。その利点にもかかわらず、ICLの有効性はデモの選択に大きく依存している。本稿では,インフルエンス関数を用いてトレーニングサンプルの影響を解析する,InfICLという実演選択手法を提案する。
論文参考訳（メタデータ） (2024-02-19T00:39:31Z)
C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-02-17T11:28:08Z)
Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
論文参考訳（メタデータ） (2024-01-22T16:25:27Z)
Fair Few-shot Learning with Auxiliary Sets [53.30014767684218]
多くの機械学習(ML)タスクでは、ラベル付きデータサンプルしか収集できないため、フェアネスのパフォーマンスが低下する可能性がある。本稿では,限定的なトレーニングサンプルを用いたフェアネス認識学習課題をemphfair few-shot Learning問題として定義する。そこで我々は,学習した知識をメタテストタスクに一般化し,様々なメタトレーニングタスクに公平な知識を蓄積する新しいフレームワークを考案した。
論文参考訳（メタデータ） (2023-08-28T06:31:37Z)
FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
論文参考訳（メタデータ） (2022-01-15T05:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。