論文の概要: FairMonitor: A Four-Stage Automatic Framework for Detecting Stereotypes
and Biases in Large Language Models
- arxiv url: http://arxiv.org/abs/2308.10397v2
- Date: Fri, 27 Oct 2023 01:54:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 17:05:14.000467
- Title: FairMonitor: A Four-Stage Automatic Framework for Detecting Stereotypes
and Biases in Large Language Models
- Title（参考訳）: FairMonitor: 大規模言語モデルにおけるステレオタイプとバイアスを検出する4段階の自動フレームワーク
- Authors: Yanhong Bai and Jiabao Zhao and Jinxin Shi and Tingjiang Wei and
Xingjiao Wu and Liang He
- Abstract要約: 本稿では,Large Language Models(LLMs)の生成したコンテンツのステレオタイプとバイアスを直接評価する4段階フレームワークを提案する。
教育部門を事例研究として,4段階の枠組みに基づくEdu-FairMonitorを構築した。
実験結果から,Edu-FairMonitorで評価された5つのLDMのステレオタイプとバイアスの程度が異なっていた。
- 参考スコア（独自算出の注目度）: 10.57405233305553
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Detecting stereotypes and biases in Large Language Models (LLMs) can enhance
fairness and reduce adverse impacts on individuals or groups when these LLMs
are applied. However, the majority of existing methods focus on measuring the
model's preference towards sentences containing biases and stereotypes within
datasets, which lacks interpretability and cannot detect implicit biases and
stereotypes in the real world. To address this gap, this paper introduces a
four-stage framework to directly evaluate stereotypes and biases in the
generated content of LLMs, including direct inquiry testing, serial or adapted
story testing, implicit association testing, and unknown situation testing.
Additionally, the paper proposes multi-dimensional evaluation metrics and
explainable zero-shot prompts for automated evaluation. Using the education
sector as a case study, we constructed the Edu-FairMonitor based on the
four-stage framework, which encompasses 12,632 open-ended questions covering
nine sensitive factors and 26 educational scenarios. Experimental results
reveal varying degrees of stereotypes and biases in five LLMs evaluated on
Edu-FairMonitor. Moreover, the results of our proposed automated evaluation
method have shown a high correlation with human annotations.
- Abstract（参考訳）: 大規模言語モデル(llm)におけるステレオタイプやバイアスの検出は、公平性を高め、これらのllmを適用する際に個人やグループへの悪影響を減らすことができる。
しかし、既存の手法の大半は、データセット内のバイアスやステレオタイプを含む文に対するモデルの好みを測定することに集中しており、解釈可能性に欠け、現実世界では暗黙のバイアスやステレオタイプを検出できない。
このギャップに対処するために,本論文では,直接照会テスト,連続的あるいは適応的ストーリーテスト,暗黙的関連テスト,未知の状況テストなど,llm の生成するコンテンツのステレオタイプやバイアスを直接評価する 4段階フレームワークを提案する。
さらに,自動評価のための多次元評価指標と説明可能なゼロショットプロンプトを提案する。
教育部門をケーススタディとして,9因子と26の教育シナリオを含む12,632のオープンエンド質問を含む4段階の枠組みに基づくEdu-FairMonitorを構築した。
実験結果から,Edu-FairMonitorで評価された5つのLDMのステレオタイプとバイアスの程度が異なっていた。
さらに,提案手法による自動評価の結果は,人間のアノテーションと高い相関関係を示した。
関連論文リスト
- SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。
まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z) - Subtle Biases Need Subtler Measures: Dual Metrics for Evaluating Representative and Affinity Bias in Large Language Models [10.73340009530019]
本研究は,Large Language Models (LLMs) における2つのバイアス,代表バイアスと親和性バイアスに対処する。
我々は,これらのバイアスを測定するために,代表バイアススコア(RBS)と親和性バイアススコア(ABS)の2つの新しい指標を導入する。
我々の分析では、白人、ストレート、男性と関連する身元を選好する著名なLSMにおいて、顕著な偏見が明らかとなった。
親和性バイアスによる各モデルにおける特徴的評価パターンの解明
論文 参考訳（メタデータ） (2024-05-23T13:35:34Z) - FairMonitor: A Dual-framework for Detecting Stereotypes and Biases in Large Language Models [9.385390205833893]
大規模言語モデル(LLM)におけるステレオタイプとバイアスの包括的評価のためのFairMonitorフレームワークの提案と静的力学検出手法の適用について述べる。
静的なコンポーネントは、直接調査テスト、暗黙の関連テスト、未知の状況テストで構成され、その中には、9つのセンシティブな要因と26の教育シナリオを含む10,262のオープンエンド質問が含まれている。
我々はマルチエージェントシステムを用いて、より複雑で現実的な環境で微妙なバイアスを検出する動的シナリオを信頼する。
論文 参考訳（メタデータ） (2024-05-06T01:23:07Z) - Zero-shot Generative Large Language Models for Systematic Review
Screening Automation [55.403958106416574]
本研究では,ゼロショット大言語モデルを用いた自動スクリーニングの有効性について検討した。
本研究では, 8種類のLCMの有効性を評価し, 予め定義されたリコール閾値を用いた校正手法について検討する。
論文 参考訳（メタデータ） (2024-01-12T01:54:08Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-11T12:02:14Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z) - This Prompt is Measuring <MASK>: Evaluating Bias Evaluation in Language
Models [12.214260053244871]
言語モデルのバイアスを評価するためにプロンプトとテンプレートを使用する作業の本体を分析します。
我々は、バイアステストが測定する目的を捉える属性の分類を作成するために、測定モデリングフレームワークを設計する。
我々の分析は、フィールドが測定できる可能性のあるバイアスタイプの範囲を照らし、まだ調査されていないタイプを明らかにします。
論文 参考訳（メタデータ） (2023-05-22T06:28:48Z) - Testing Occupational Gender Bias in Language Models: Towards Robust Measurement and Zero-Shot Debiasing [98.07536837448293]
大規模言語モデル(LLM)は、様々な人口層に対して有害で人間らしいバイアスを示すことが示されている。
生成言語モデルにおけるバイアスを頑健に測定するためのdesiderataのリストを紹介する。
次に、このベンチマークを使用して、Llama、Mistral、およびそれらの命令チューニングバージョンを含む、最先端のオープンソースLLMをテストします。
論文 参考訳（メタデータ） (2022-12-20T22:41:24Z) - LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。
クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。
毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
論文 参考訳（メタデータ） (2020-10-06T16:42:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。