論文の概要: CALM : A Multi-task Benchmark for Comprehensive Assessment of Language
Model Bias
- arxiv url: http://arxiv.org/abs/2308.12539v1
- Date: Thu, 24 Aug 2023 03:53:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-25 15:26:05.640969
- Title: CALM : A Multi-task Benchmark for Comprehensive Assessment of Language
Model Bias
- Title(参考訳): CALM : 言語モデルバイアスの総合評価のためのマルチタスクベンチマーク
- Authors: Vipul Gupta, Pranav Narayanan Venkit, Hugo Lauren\c{c}on, Shomir
Wilson, Rebecca J. Passonneau
- Abstract要約: 言語モデルバイアスの包括的評価(CALM)は、言語モデル(LM)におけるバイアスの定量化のためのベンチマークデータセットである。
ウィキペディアやニュース記事など、さまざまなドメインにまたがる16の既存のデータセットを統合して、224のテンプレートをフィルタリングし、78,400のデータセットを構築します。
我々のデータセットは従来のデータセットよりも多様で信頼性が高いため、モデルのバイアスを確実に評価するために必要な言語的変動の幅をより正確に把握できることを示す。
- 参考スコア(独自算出の注目度): 8.031232439623627
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As language models (LMs) become increasingly powerful, it is important to
quantify and compare them for sociodemographic bias with potential for harm.
Prior bias measurement datasets are sensitive to perturbations in their
manually designed templates, therefore unreliable. To achieve reliability, we
introduce the Comprehensive Assessment of Language Model bias (CALM), a
benchmark dataset to quantify bias in LMs across three tasks. We integrate 16
existing datasets across different domains, such as Wikipedia and news
articles, to filter 224 templates from which we construct a dataset of 78,400
examples. We compare the diversity of CALM with prior datasets on metrics such
as average semantic similarity, and variation in template length, and test the
sensitivity to small perturbations. We show that our dataset is more diverse
and reliable than previous datasets, thus better capture the breadth of
linguistic variation required to reliably evaluate model bias. We evaluate 20
large language models including six prominent families of LMs such as Llama-2.
In two LM series, OPT and Bloom, we found that larger parameter models are more
biased than lower parameter models. We found the T0 series of models to be the
least biased. Furthermore, we noticed a tradeoff between gender and racial bias
with increasing model size in some model series. The code is available at
https://github.com/vipulgupta1011/CALM.
- Abstract(参考訳): 言語モデル(LM)がますます強力になるにつれて、社会的な偏見と害の可能性を定量化し比較することが重要である。
事前バイアス測定データセットは、手動で設計されたテンプレートの摂動に敏感であり、信頼できない。
信頼性を実現するために,3つのタスクにまたがるlmsのバイアスを定量化するベンチマークデータセットである言語モデルバイアス(calm)の包括的評価を紹介する。
ウィキペディアやニュース記事など、さまざまなドメインにまたがる16の既存のデータセットを統合して、224のテンプレートをフィルタリングし、78,400のデータセットを構築します。
平均意味的類似度やテンプレート長の変動といった指標に基づいて,CALMの多様性を事前データセットと比較し,小さな摂動に対する感度を検証した。
我々のデータセットは従来のデータセットよりも多様で信頼性が高いため、モデルのバイアスを確実に評価するために必要な言語的変動の幅をよりよく捉えている。
Llama-2のような6つの著名なLM群を含む20の大規模言語モデルを評価する。
オプトとブルームという2つのlm級数において、より大きいパラメータモデルはより低いパラメータモデルよりもバイアスが高いことが判明した。
t0シリーズのモデルが最もバイアスが少ないことが分かりました。
さらに,モデルシリーズのモデルサイズの増加に伴い,性別と人種バイアスのトレードオフがみられた。
コードはhttps://github.com/vipulgupta1011/calmで入手できる。
関連論文リスト
- The Impact of Unstated Norms in Bias Analysis of Language Models [0.03495246564946556]
大規模言語モデル(LLM)は、過度な差別から暗黙的なステレオタイプに至るまで、様々な形態で現れるバイアスを運ぶことができる。
偏見の1つの側面は、LLMのパフォーマンス格差であり、しばしば人種的少数派のような未成年集団に害を与える。
バイアスを定量化するための一般的なアプローチは、テンプレートベースのバイアスプローブを使用することである。
論文 参考訳(メタデータ) (2024-04-04T14:24:06Z) - Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳(メタデータ) (2024-03-26T12:47:39Z) - Taxonomy-based CheckList for Large Language Model Evaluation [0.0]
我々は、自然言語の介入に人間の知識を導入し、事前訓練された言語モデル(LM)の振る舞いを研究する。
CheckListの振る舞いテストに触発されて,LMの非倫理的行動の探索と定量化を目的としたチェックリストスタイルのタスクを提案する。
論文 参考訳(メタデータ) (2023-12-15T12:58:07Z) - Debiasing Algorithm through Model Adaptation [5.482673673984126]
因果解析を行い、問題のあるモデル成分を同定し、フィードフォワードの中間層が最も偏りを伝達しやすいことを明らかにする。
解析結果に基づいて,これらの層の重み行列に線形射影を適用することにより,モデルに介入する。
提案手法であるDAMAは,下流タスクにおけるモデルの性能を維持しながら,様々な指標によって測定されるバイアスを著しく低減する。
論文 参考訳(メタデータ) (2023-10-29T05:50:03Z) - Effective Proxy for Human Labeling: Ensemble Disagreement Scores in
Large Language Models for Industrial NLP [6.429005147017301]
アンサンブル不一致スコアは、ゼロショット、少数ショット、微調整の設定において、言語モデルに対する人間のラベル付けのプロキシとして機能することを示す。
様々な言語やドメインにわたる結果から、平均誤差(MAE)が0.4%、平均13.8%のモデル性能が銀ラベルよりも優れているという評価結果が得られた。
論文 参考訳(メタデータ) (2023-09-11T17:07:01Z) - CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI
Collaboration for Large Language Models [52.25049362267279]
本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。
データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。
大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
論文 参考訳(メタデータ) (2023-06-28T14:14:44Z) - Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。
細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。
微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
論文 参考訳(メタデータ) (2023-05-28T13:19:12Z) - Holistic Evaluation of Language Models [183.94891340168175]
言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。
本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
論文 参考訳(メタデータ) (2022-11-16T18:51:34Z) - Few-shot Instruction Prompts for Pretrained Language Models to Detect
Social Biases [55.45617404586874]
我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。
大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
論文 参考訳(メタデータ) (2021-12-15T04:19:52Z) - LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。
クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。
毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
論文 参考訳(メタデータ) (2020-10-06T16:42:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。