論文の概要: A Group Fairness Lens for Large Language Models

• arxiv url: http://arxiv.org/abs/2312.15478v1
• Date: Sun, 24 Dec 2023 13:25:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 17:49:57.750609
• Title: A Group Fairness Lens for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのグループフェアネスレンズ
• Authors: Guanqun Bi, Lei Shen, Yuqiang Xie, Yanan Cao, Tiangang Zhu, Xiaodong He
• Abstract要約: 大規模な言語モデルは、ソーシャルメディアの文脈に展開する際の偏見と不公平さを永久に防ぐことができる。 多様な社会集団を特徴付ける新しい階層型スキーマを用いて,グループフェアネスレンズからLLMバイアスを評価する。 我々は,グループフェアネスの観点からLLMのバイアスを軽減するために,GF-Thinkという新しいチェーン・オブ・シンク法を考案した。
• 参考スコア（独自算出の注目度）: 34.0579082699443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of large language models has revolutionized various applications but also raised crucial concerns about their potential to perpetuate biases and unfairness when deployed in social media contexts. Evaluating LLMs' potential biases and fairness has become crucial, as existing methods rely on limited prompts focusing on just a few groups, lacking a comprehensive categorical perspective. In this paper, we propose evaluating LLM biases from a group fairness lens using a novel hierarchical schema characterizing diverse social groups. Specifically, we construct a dataset, GFair, encapsulating target-attribute combinations across multiple dimensions. In addition, we introduce statement organization, a new open-ended text generation task, to uncover complex biases in LLMs. Extensive evaluations of popular LLMs reveal inherent safety concerns. To mitigate the biases of LLM from a group fairness perspective, we pioneer a novel chain-of-thought method GF-Think to mitigate biases of LLMs from a group fairness perspective. Experimental results demonstrate its efficacy in mitigating bias in LLMs to achieve fairness.
• Abstract（参考訳）: 大規模言語モデルの急速な発展は、様々な応用に革命をもたらしたが、ソーシャルメディアのコンテキストに展開するバイアスや不公平さを持続する可能性に関する重要な懸念も提起した。 LLMの潜在的なバイアスと公平さを評価することは重要であり、既存の手法はごく少数のグループに焦点を絞った限定的なプロンプトに頼っている。 本稿では,多様な社会集団を特徴付ける新しい階層的スキーマを用いて,グループフェアネスレンズからのllmバイアスの評価を提案する。 具体的には、複数の次元にわたるターゲットと属性の組み合わせをカプセル化したデータセットGFairを構築する。 さらに,LLMにおける複雑なバイアスを明らかにするために,新たなオープンエンドテキスト生成タスクである文体系を導入する。 LLMの広範囲な評価は、固有の安全性上の懸念を明らかにしている。 グループフェアネスの観点から LLM のバイアスを軽減するために, グループフェアネスの観点から LLM のバイアスを軽減する新しいチェーン・オブ・シンク法 GF-Think を考案した。 実験により, LLMの偏差緩和効果を実証し, 公平性を実現した。

関連論文リスト

• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• A Multi-LLM Debiasing Framework [85.17156744155915]
  大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。 近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。 LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T20:24:50Z)
• Fairness in Large Language Models in Three Hours [2.443957114877221]
  このチュートリアルは、大規模言語モデルに関する文献の最近の進歩を体系的に概説する。 LLMにおける公平性の概念を考察し、バイアスを評価するための戦略と公正性を促進するために設計されたアルゴリズムを要約する。
  論文  参考訳（メタデータ） (2024-08-02T03:44:14Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• Inducing Group Fairness in LLM-Based Decisions [12.368678951470162]
  Prompting Large Language Models (LLMs) におけるグループフェアネスは、よく研究されている問題である。 我々は、プロンプトベースの分類器が不公平な判断につながる可能性があることを示す。 いくつかの修復手法を導入し、公平さとパフォーマンスのトレードオフをベンチマークします。
  論文  参考訳（メタデータ） (2024-06-24T15:45:20Z)
• Fairness in Large Language Models: A Taxonomic Survey [2.669847575321326]
  大規模言語モデル(LLM)は、様々な領域で顕著な成功を収めている。 多くの実世界のアプリケーションで有望な性能を示したにもかかわらず、これらのアルゴリズムのほとんどは公平さを考慮に入れていない。
  論文  参考訳（メタデータ） (2024-03-31T22:22:53Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• A Survey on Fairness in Large Language Models [28.05516809190299]
  大規模言語モデル(LLM)は、強力なパフォーマンスと開発見通しを示している。 LLMは、未処理のトレーニングデータから社会的バイアスをキャプチャし、そのバイアスを下流のタスクに伝達する。 不公平なLLMシステムは、望ましくない社会的影響と潜在的な害がある。
  論文  参考訳（メタデータ） (2023-08-20T03:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。