論文の概要: FairMonitor: A Four-Stage Automatic Framework for Detecting Stereotypes and Biases in Large Language Models

• arxiv url: http://arxiv.org/abs/2308.10397v2
• Date: Fri, 27 Oct 2023 01:54:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 17:05:14.000467
• Title: FairMonitor: A Four-Stage Automatic Framework for Detecting Stereotypes and Biases in Large Language Models
• Title（参考訳）: FairMonitor: 大規模言語モデルにおけるステレオタイプとバイアスを検出する4段階の自動フレームワーク
• Authors: Yanhong Bai and Jiabao Zhao and Jinxin Shi and Tingjiang Wei and Xingjiao Wu and Liang He
• Abstract要約: 本稿では,Large Language Models(LLMs)の生成したコンテンツのステレオタイプとバイアスを直接評価する4段階フレームワークを提案する。 教育部門を事例研究として,4段階の枠組みに基づくEdu-FairMonitorを構築した。 実験結果から,Edu-FairMonitorで評価された5つのLDMのステレオタイプとバイアスの程度が異なっていた。
• 参考スコア（独自算出の注目度）: 10.57405233305553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting stereotypes and biases in Large Language Models (LLMs) can enhance fairness and reduce adverse impacts on individuals or groups when these LLMs are applied. However, the majority of existing methods focus on measuring the model's preference towards sentences containing biases and stereotypes within datasets, which lacks interpretability and cannot detect implicit biases and stereotypes in the real world. To address this gap, this paper introduces a four-stage framework to directly evaluate stereotypes and biases in the generated content of LLMs, including direct inquiry testing, serial or adapted story testing, implicit association testing, and unknown situation testing. Additionally, the paper proposes multi-dimensional evaluation metrics and explainable zero-shot prompts for automated evaluation. Using the education sector as a case study, we constructed the Edu-FairMonitor based on the four-stage framework, which encompasses 12,632 open-ended questions covering nine sensitive factors and 26 educational scenarios. Experimental results reveal varying degrees of stereotypes and biases in five LLMs evaluated on Edu-FairMonitor. Moreover, the results of our proposed automated evaluation method have shown a high correlation with human annotations.
• Abstract（参考訳）: 大規模言語モデル(llm)におけるステレオタイプやバイアスの検出は、公平性を高め、これらのllmを適用する際に個人やグループへの悪影響を減らすことができる。 しかし、既存の手法の大半は、データセット内のバイアスやステレオタイプを含む文に対するモデルの好みを測定することに集中しており、解釈可能性に欠け、現実世界では暗黙のバイアスやステレオタイプを検出できない。 このギャップに対処するために,本論文では,直接照会テスト,連続的あるいは適応的ストーリーテスト,暗黙的関連テスト,未知の状況テストなど,llm の生成するコンテンツのステレオタイプやバイアスを直接評価する 4段階フレームワークを提案する。 さらに,自動評価のための多次元評価指標と説明可能なゼロショットプロンプトを提案する。 教育部門をケーススタディとして,9因子と26の教育シナリオを含む12,632のオープンエンド質問を含む4段階の枠組みに基づくEdu-FairMonitorを構築した。 実験結果から,Edu-FairMonitorで評価された5つのLDMのステレオタイプとバイアスの程度が異なっていた。 さらに,提案手法による自動評価の結果は,人間のアノテーションと高い相関関係を示した。

関連論文リスト

• Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models [47.545382591646565]
  大きな言語モデル(LLM)は、言語理解と人間レベルのテキストの生成に優れています。 LLMは、悪意のあるユーザーがモデルに望ましくないテキストを生成するよう促す敵攻撃の影響を受けやすい。 本研究では,対象のLSMから偏りのある応答を抽出する逆方向のプロンプトを自動生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2024-08-07T17:11:34Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Investigating Annotator Bias in Large Language Models for Hate Speech Detection [5.589665886212444]
  本稿では,ヘイトスピーチデータに注釈をつける際に,Large Language Models (LLMs) に存在するバイアスについて考察する。 具体的には、これらのカテゴリ内の非常に脆弱なグループを対象として、アノテータバイアスを分析します。 我々は,この研究を行うために,独自のヘイトスピーチ検出データセットであるHateBiasNetを紹介した。
  論文  参考訳（メタデータ） (2024-06-17T00:18:31Z)
• FairMonitor: A Dual-framework for Detecting Stereotypes and Biases in Large Language Models [9.385390205833893]
  大規模言語モデル(LLM)におけるステレオタイプとバイアスの包括的評価のためのFairMonitorフレームワークの提案と静的力学検出手法の適用について述べる。 静的なコンポーネントは、直接調査テスト、暗黙の関連テスト、未知の状況テストで構成され、その中には、9つのセンシティブな要因と26の教育シナリオを含む10,262のオープンエンド質問が含まれている。 我々はマルチエージェントシステムを用いて、より複雑で現実的な環境で微妙なバイアスを検出する動的シナリオを信頼する。
  論文  参考訳（メタデータ） (2024-05-06T01:23:07Z)
• Zero-shot Generative Large Language Models for Systematic Review Screening Automation [55.403958106416574]
  本研究では,ゼロショット大言語モデルを用いた自動スクリーニングの有効性について検討した。 本研究では, 8種類のLCMの有効性を評価し, 予め定義されたリコール閾値を用いた校正手法について検討する。
  論文  参考訳（メタデータ） (2024-01-12T01:54:08Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• This Prompt is Measuring <MASK>: Evaluating Bias Evaluation in Language Models [12.214260053244871]
  言語モデルのバイアスを評価するためにプロンプトとテンプレートを使用する作業の本体を分析します。 我々は、バイアステストが測定する目的を捉える属性の分類を作成するために、測定モデリングフレームワークを設計する。 我々の分析は、フィールドが測定できる可能性のあるバイアスタイプの範囲を照らし、まだ調査されていないタイプを明らかにします。
  論文  参考訳（メタデータ） (2023-05-22T06:28:48Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。