論文の概要: Bias and Fairness in Large Language Models: A Survey

• arxiv url: http://arxiv.org/abs/2309.00770v3
• Date: Fri, 12 Jul 2024 20:29:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 04:58:50.885735
• Title: Bias and Fairness in Large Language Models: A Survey
• Title（参考訳）: 大規模言語モデルにおけるバイアスと公正性:調査
• Authors: Isabel O. Gallegos, Ryan A. Rossi, Joe Barrow, Md Mehrab Tanjim, Sungchul Kim, Franck Dernoncourt, Tong Yu, Ruiyi Zhang, Nesreen K. Ahmed,
• Abstract要約: 本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
• 参考スコア（独自算出の注目度）: 73.87651986156006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rapid advancements of large language models (LLMs) have enabled the processing, understanding, and generation of human-like text, with increasing integration into systems that touch our social sphere. Despite this success, these models can learn, perpetuate, and amplify harmful social biases. In this paper, we present a comprehensive survey of bias evaluation and mitigation techniques for LLMs. We first consolidate, formalize, and expand notions of social bias and fairness in natural language processing, defining distinct facets of harm and introducing several desiderata to operationalize fairness for LLMs. We then unify the literature by proposing three intuitive taxonomies, two for bias evaluation, namely metrics and datasets, and one for mitigation. Our first taxonomy of metrics for bias evaluation disambiguates the relationship between metrics and evaluation datasets, and organizes metrics by the different levels at which they operate in a model: embeddings, probabilities, and generated text. Our second taxonomy of datasets for bias evaluation categorizes datasets by their structure as counterfactual inputs or prompts, and identifies the targeted harms and social groups; we also release a consolidation of publicly-available datasets for improved access. Our third taxonomy of techniques for bias mitigation classifies methods by their intervention during pre-processing, in-training, intra-processing, and post-processing, with granular subcategories that elucidate research trends. Finally, we identify open problems and challenges for future work. Synthesizing a wide range of recent research, we aim to provide a clear guide of the existing literature that empowers researchers and practitioners to better understand and prevent the propagation of bias in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩により、人間のようなテキストの処理、理解、生成が可能となり、社会領域に触れるシステムへの統合が拡大した。 この成功にもかかわらず、これらのモデルは有害な社会的バイアスを学習し、永続し、増幅することができる。 本稿では,LLMのバイアス評価と緩和技術に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合、形式化し、拡張し、異なる害の面を定義し、LLMの公正性を運用するためにいくつかのデシラタを導入する。 次に、3つの直感的な分類法、バイアス評価のための2つの指標とデータセット、緩和のための1つを提案して、文献を統一する。 バイアス評価のためのメトリクスの最初の分類法は、メトリクスと評価データセットの関係を曖昧にし、それらがモデルで運用するさまざまなレベル(埋め込み、確率、生成されたテキスト)でメトリクスを整理します。 バイアス評価のためのデータセットの第2の分類法は、その構造によるデータセットを対実的な入力やプロンプトとして分類し、ターゲットとなる害や社会集団を特定します。 偏差緩和技術の第3の分類法は, 事前処理, イントレーニング, イントラプロセッシング, ポストプロセッシングの介入によって, 研究動向を解明する粒度のサブカテゴリを分類する。 最後に、今後の作業におけるオープンな問題と課題を特定します。 近年の幅広い研究を合成し、研究者や実践者がLLMのバイアスの伝播をよりよく理解し防止できるように、既存の文献の明確なガイドを提供することを目指している。

関連論文リスト

• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Interpreting Bias in Large Language Models: A Feature-Based Approach [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクで顕著なパフォーマンスを示した。 本稿では, 特徴量に基づく新しい解析手法により, LLM内のバイアスの伝播について検討する。
  論文  参考訳（メタデータ） (2024-06-18T07:28:15Z)
• ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
  異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。 我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。 3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
  論文  参考訳（メタデータ） (2023-11-29T23:03:04Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• TIDE: Textual Identity Detection for Evaluating and Augmenting Classification and Language Models [0.0]
  機械学習モデルは、不公平で不均衡なデータセットから意図しないバイアスを永続することができる。 分類器と言語モデルにおけるテキストの公平性を改善するためのアプローチと組み合わせたデータセットを提案する。 我々は、IDコンテキストの可用性向上に使用できるIDアノテーションと拡張ツールを開発するために、TIDALを活用している。
  論文  参考訳（メタデータ） (2023-09-07T21:44:42Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)
• Towards Fair and Explainable AI using a Human-Centered AI Approach [5.888646114353372]
  分類システムと単語埋め込みにおける説明可能性と公平性の向上を目的とした5つの研究プロジェクトについて述べる。 最初のプロジェクトは、ローカルモデル説明を機械教師のインタフェースとして導入するユーティリティ/ダウンサイドについて検討する。 第二のプロジェクトは、因果性に基づくヒューマン・イン・ザ・ループ視覚ツールであるD-BIASを紹介し、データセットの社会的バイアスを特定し緩和する。 第3のプロジェクトは、グループに対するバイアスに対するトレーニング済みの静的単語埋め込みの監査を支援する、ビジュアルインタラクティブツールであるWordBiasを提示する。 4番目のプロジェクトは、ソーシャルを識別するビジュアル分析ツールDramatVis Personae
  論文  参考訳（メタデータ） (2023-06-12T21:08:55Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。