論文の概要: Inducing Group Fairness in Prompt-Based Language Model Decisions

• arxiv url: http://arxiv.org/abs/2406.16738v2
• Date: Mon, 02 Dec 2024 18:27:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:57:12.244534
• Title: Inducing Group Fairness in Prompt-Based Language Model Decisions
• Title（参考訳）: プロンプトに基づく言語モデル決定におけるグループフェアネスの誘導
• Authors: James Atwood, Nino Scherrer, Preethi Lahoti, Ananth Balashankar, Flavien Prost, Ahmad Beirami,
• Abstract要約: 新たなプロンプトベース言語モデル(LM)決定は、分類タスクを解く新しい機会を生み出した。 LMベースの意思決定者にとって「修復ツールキット」は不完全であり、意思決定者グループフェアネスを改善する方法についてはほとんど理解されていない。
• 参考スコア（独自算出の注目度）: 12.964746511263833
• License:
• Abstract: Classifiers are used throughout industry to enforce policies, ranging from the detection of toxic content to age-appropriate content filtering. While these classifiers serve important functions, it is also essential that they are built in ways that minimize unfair biases for users. One such fairness consideration is called group fairness, which desires that different sub-population of users receive equal treatment. This is a well-studied problem in the context of 'classical' classifiers. However, the emergence of prompt-based language model (LM) decision making has created new opportunities to solve text-based classification tasks, and the fairness properties of these new classifiers are not yet well understood. Further, the `remediation toolkit' is incomplete for LM-based decision makers and little is understood about how to improve decision maker group fairness while maintaining classifier performance. This work sets out to add more tools to that toolbox. We introduce adaptations of existing effective approaches from the classical classifier fairness to the prompt-based classifier space. We also devise simple methods that take advantage of the new structure of prompt-based decision makers and operate at the prompt level. We compare these approaches empirically on real data. Our results suggest that adaptations of approaches that are effective for classical classifiers remain effective in the LM-based classifier environment. However, there is room for further exploration of prompt-based remediation methods (and other remediation methods that take advantage of LM structure).
• Abstract（参考訳）: 分類器は業界全体で、有害なコンテンツの検出から年齢に応じたコンテンツフィルタリングまで、ポリシーを強制するために使用されている。 これらの分類器は重要な機能を提供しているが、ユーザにとって不公平なバイアスを最小限に抑える方法で構築されることも不可欠である。 このような公平さを考慮に入れているのがグループフェアネス(group fairness)であり、これは利用者の異なるサブ集団が平等に扱われることを望んでいる。 これは'古典'分類器の文脈におけるよく研究された問題である。 しかし、プロンプトベース言語モデル(LM)決定の出現は、テキストベースの分類タスクを解く新たな機会を生み出しており、これらの新しい分類器の公平性はまだよく理解されていない。 さらに、「修復ツールキット」はLMベースの意思決定者にとって不完全であり、分類器の性能を維持しながら意思決定者グループフェアネスを改善する方法についてはほとんど理解されていない。 この作業は、ツールボックスにより多くのツールを追加することを目的としている。 古典的分類器フェアネスからプロンプトベースの分類器空間への既存の効果的なアプローチの適応を導入する。 また,プロンプトベースの意思決定者の新たな構造を生かしたシンプルな手法を考案し,プロンプトレベルでの運用を行う。 これらのアプローチを実データで実証的に比較する。 この結果から,古典的分類法に有効な手法の適応は,LMベースの分類法環境においても有効であることが示唆された。 しかし, 即時修復法(およびLM構造を利用した他の修復法)のさらなる検討の余地がある。

関連論文リスト

• Fairness in Large Language Models in Three Hours [2.443957114877221]
  このチュートリアルは、大規模言語モデルに関する文献の最近の進歩を体系的に概説する。 LLMにおける公平性の概念を考察し、バイアスを評価するための戦略と公正性を促進するために設計されたアルゴリズムを要約する。
  論文  参考訳（メタデータ） (2024-08-02T03:44:14Z)
• Decompose and Aggregate: A Step-by-Step Interpretable Evaluation Framework [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Fairness in Large Language Models: A Taxonomic Survey [2.669847575321326]
  大規模言語モデル(LLM)は、様々な領域で顕著な成功を収めている。 多くの実世界のアプリケーションで有望な性能を示したにもかかわらず、これらのアルゴリズムのほとんどは公平さを考慮に入れていない。
  論文  参考訳（メタデータ） (2024-03-31T22:22:53Z)
• Few-Shot Fairness: Unveiling LLM's Potential for Fairness-Aware Classification [7.696798306913988]
  フェアネス定義に適合するフェアネス規則を概説する枠組みを導入する。 本稿では,テキスト内学習のための構成と,RAGを用いてテキスト内デモを選択する手順について検討する。 異なるLCMを用いて行った実験では、GPT-4は他のモデルと比較して精度と公平性の両方において優れた結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-02-28T17:29:27Z)
• A Group Fairness Lens for Large Language Models [34.0579082699443]
  大規模な言語モデルは、ソーシャルメディアの文脈に展開する際の偏見と不公平さを永久に防ぐことができる。 多様な社会集団を特徴付ける新しい階層型スキーマを用いて,グループフェアネスレンズからLLMバイアスを評価する。 我々は,グループフェアネスの観点からLLMのバイアスを軽減するために,GF-Thinkという新しいチェーン・オブ・シンク法を考案した。
  論文  参考訳（メタデータ） (2023-12-24T13:25:15Z)
• Selecting Shots for Demographic Fairness in Few-Shot Learning with Large Language Models [14.772568847965408]
  NLP分類システムとしての大規模言語モデル(LLM)の公平性に及ぼすショットの影響について検討する。 既存のものと、新しい人口統計学的に敏感な方法の両方において、異なるショット選択戦略が、3つの標準フェアネスデータセットのモデルフェアネスにどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2023-11-14T19:02:03Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Fair Few-shot Learning with Auxiliary Sets [53.30014767684218]
  多くの機械学習(ML)タスクでは、ラベル付きデータサンプルしか収集できないため、フェアネスのパフォーマンスが低下する可能性がある。 本稿では,限定的なトレーニングサンプルを用いたフェアネス認識学習課題をemphfair few-shot Learning問題として定義する。 そこで我々は,学習した知識をメタテストタスクに一般化し,様々なメタトレーニングタスクに公平な知識を蓄積する新しいフレームワークを考案した。
  論文  参考訳（メタデータ） (2023-08-28T06:31:37Z)
• FFB: A Fair Fairness Benchmark for In-Processing Group Fairness Methods [84.1077756698332]
  本稿では,グループフェアネス手法のベンチマークフレームワークであるFair Fairness Benchmark(textsfFFB)を紹介する。 グループフェアネスの異なる概念を確実にするための最先端手法を包括的に分析する。
  論文  参考訳（メタデータ） (2023-06-15T19:51:28Z)
• Learning Informative Representation for Fairness-aware Multivariate Time-series Forecasting: A Group-based Perspective [50.093280002375984]
  多変量時系列予測モデル(MTS)では変数間の性能不公平性が広く存在する。 フェアネスを意識したMTS予測のための新しいフレームワークであるFairForを提案する。
  論文  参考訳（メタデータ） (2023-01-27T04:54:12Z)
• Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
  本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。 提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T10:49:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。