論文の概要: This Prompt is Measuring : Evaluating Bias Evaluation in Language
Models
- arxiv url: http://arxiv.org/abs/2305.12757v1
- Date: Mon, 22 May 2023 06:28:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 17:58:15.912750
- Title: This Prompt is Measuring <MASK>: Evaluating Bias Evaluation in Language
Models
- Title(参考訳): このプロンプトは<MASK>を測定する:言語モデルにおけるバイアス評価
- Authors: Seraphina Goldfarb-Tarrant, Eddie Ungless, Esma Balkir, Su Lin
Blodgett
- Abstract要約: 言語モデルのバイアスを評価するためにプロンプトとテンプレートを使用する作業の本体を分析します。
我々は、バイアステストが測定する目的を捉える属性の分類を作成するために、測定モデリングフレームワークを設計する。
我々の分析は、フィールドが測定できる可能性のあるバイアスタイプの範囲を照らし、まだ調査されていないタイプを明らかにします。
- 参考スコア(独自算出の注目度): 12.214260053244871
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bias research in NLP seeks to analyse models for social biases, thus helping
NLP practitioners uncover, measure, and mitigate social harms. We analyse the
body of work that uses prompts and templates to assess bias in language models.
We draw on a measurement modelling framework to create a taxonomy of attributes
that capture what a bias test aims to measure and how that measurement is
carried out. By applying this taxonomy to 90 bias tests, we illustrate
qualitatively and quantitatively that core aspects of bias test
conceptualisations and operationalisations are frequently unstated or
ambiguous, carry implicit assumptions, or be mismatched. Our analysis
illuminates the scope of possible bias types the field is able to measure, and
reveals types that are as yet under-researched. We offer guidance to enable the
community to explore a wider section of the possible bias space, and to better
close the gap between desired outcomes and experimental design, both for bias
and for evaluating language models more broadly.
- Abstract(参考訳): NLPにおけるバイアス研究は、社会的偏見のモデルを分析し、NLP実践者が社会的害を発見し、測定し、緩和することを支援する。
言語モデルのバイアスを評価するためにプロンプトとテンプレートを使用する作業体を分析する。
バイアステストが計測しようとしていることを捉え、その測定がどのように行われるかを捉える属性の分類法を作成するための測定モデリングフレームワークを考案する。
この分類法を90のバイアステストに適用することにより、偏見テストの概念化と運用の核となる側面は、しばしば未定または曖昧であり、暗黙の仮定を実行している、あるいはミスマッチしていることを質的かつ定量的に示す。
私たちの分析では、フィールドが測定可能なバイアスタイプの範囲を照らし、未調査のタイプを明らかにする。
我々は、コミュニティが可能なバイアス空間のより広いセクションを探索し、バイアスと言語モデルをより広く評価するために、望ましい結果と実験的な設計の間のギャップをより良いものにするためのガイダンスを提供する。
関連論文リスト
- Semantic Properties of cosine based bias scores for word embeddings [52.13994416317707]
本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。
これらの要件について,コサインに基づくスコアを文献から分析する。
これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
論文 参考訳(メタデータ) (2024-01-27T20:31:10Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。
偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。
人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
論文 参考訳(メタデータ) (2023-05-24T04:27:40Z) - Understanding Stereotypes in Language Models: Towards Robust Measurement
and Zero-Shot Debiasing [43.22485763835496]
生成言語モデルで表現されるバイアスを頑健に測定する新しい枠組みを提案する。
我々は,この枠組みを用いて,GPT-3の職業性偏見を調査し,微調整を必要とせず,これらの偏見を緩和する手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T22:41:24Z) - An Analysis of Social Biases Present in BERT Variants Across Multiple
Languages [0.0]
多様な言語からなる単言語BERTモデルにおけるバイアスについて検討する。
文の擬似類似度に基づいて,任意のバイアスを測定するテンプレートベースの手法を提案する。
偏見探索の現在の手法は言語に依存していると結論付けている。
論文 参考訳(メタデータ) (2022-11-25T23:38:08Z) - "I'm sorry to hear that": Finding New Biases in Language Models with a
Holistic Descriptor Dataset [12.000335510088648]
新しい包括的バイアス測定データセットであるHollisticBiasを紹介します。
HolisticBiasは、これらの用語の生きた経験を持つ専門家やコミュニティメンバーを含む参加的なプロセスで組み立てられた。
我々は,HolisticBiasが,言語モデルからトークンの確率において,検出不能なバイアスを測定するのに有効であることを実証した。
論文 参考訳(メタデータ) (2022-05-18T20:37:25Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in
Pretrained Language Models [2.567384209291337]
自然言語処理資源における偏見パターンの認識の高まりは、偏見と公平さを定量化するために多くの指標を動機付けてきた」。
本稿では,事前訓練された言語モデルの公平度指標に関する既存の文献を調査し,互換性を実験的に評価する。
その結果、多くの指標は互換性がなく、(i)テンプレート、(ii)属性とターゲット種子、(iii)埋め込みの選択に強く依存していることがわかった。
論文 参考訳(メタデータ) (2021-12-14T15:04:56Z) - Intrinsic Bias Metrics Do Not Correlate with Application Bias [12.588713044749179]
本研究は, 測定容易な内在的指標が実世界の外在的指標とよく相関するかどうかを検討する。
異なるタスクと実験条件をカバーする数百のトレーニングモデルに対して,内在バイアスと外部バイアスの両方を測定した。
埋め込みスペースのデビア化の取り組みは、常に下流モデルバイアスの測定とペアリングされることを推奨し、追加のチャレンジセットと注釈付きテストデータの作成を通じて下流測定をより実現可能にするためのコミュニティの努力を高めることを提案します。
論文 参考訳(メタデータ) (2020-12-31T18:59:44Z) - LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。
クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。
毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
論文 参考訳(メタデータ) (2020-10-06T16:42:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。