論文の概要: CALM : A Multi-task Benchmark for Comprehensive Assessment of Language Model Bias

• arxiv url: http://arxiv.org/abs/2308.12539v3
• Date: Thu, 8 Aug 2024 03:20:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 21:09:27.647514
• Title: CALM : A Multi-task Benchmark for Comprehensive Assessment of Language Model Bias
• Title（参考訳）: CALM : 言語モデルバイアスの総合評価のためのマルチタスクベンチマーク
• Authors: Vipul Gupta, Pranav Narayanan Venkit, Hugo Laurençon, Shomir Wilson, Rebecca J. Passonneau,
• Abstract要約: 言語モデル(CALM)の包括的評価は、普遍的に関連する2種類の社会デマログラフバイアス、性別、人種の頑健な測定である。 実験により,CALMのバイアススコアは,テンプレートの摂動に対する従来のバイアス測定よりも頑健で,はるかに感度が低いことが示された。
• 参考スコア（独自算出の注目度）: 7.28980829208179
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As language models (LMs) become increasingly powerful and widely used, it is important to quantify them for sociodemographic bias with potential for harm. Prior measures of bias are sensitive to perturbations in the templates designed to compare performance across social groups, due to factors such as low diversity or limited number of templates. Also, most previous work considers only one NLP task. We introduce Comprehensive Assessment of Language Models (CALM) for robust measurement of two types of universally relevant sociodemographic bias, gender and race. CALM integrates sixteen datasets for question-answering, sentiment analysis and natural language inference. Examples from each dataset are filtered to produce 224 templates with high diversity (e.g., length, vocabulary). We assemble 50 highly frequent person names for each of seven distinct demographic groups to generate 78,400 prompts covering the three NLP tasks. Our empirical evaluation shows that CALM bias scores are more robust and far less sensitive than previous bias measurements to perturbations in the templates, such as synonym substitution, or to random subset selection of templates. We apply CALM to 20 large language models, and find that for 2 language model series, larger parameter models tend to be more biased than smaller ones. The T0 series is the least biased model families, of the 20 LLMs investigated here. The code is available at https://github.com/vipulgupta1011/CALM.
• Abstract（参考訳）: 言語モデル(LM)はますます強力で広く使われるようになったため、社会的な偏見を害の可能性があるとして定量化することが重要である。 偏見の以前の尺度は、低い多様性や限られたテンプレート数などの要因により、社会的グループ間でのパフォーマンスを比較するために設計されたテンプレートの摂動に敏感である。 また、これまでの作業では1つのNLPタスクしか考慮していなかった。 本稿では,言語モデルの包括的評価(CALM)を導入し,普遍的に関連する2種類の社会デマログラフバイアス,性別,人種のロバストな測定を行う。 CALMは質問回答、感情分析、自然言語推論のための16のデータセットを統合している。 各データセットの例をフィルタリングして、高い多様性(例えば、長さ、語彙)を持つ224のテンプレートを生成する。 3つのNLPタスクをカバーする78,400のプロンプトを生成するため、7つの異なる人口集団それぞれに50の非常に頻繁な人物名を組み立てた。 実験により,CALMのバイアススコアは,テンプレート内の摂動やテンプレートのランダムなサブセット選択に対して,従来のバイアス測定よりも頑健で,はるかに感度が低いことが示された。 大規模言語モデル20に対してCALMを適用すると、2つの言語モデル系列に対して、より大きなパラメータモデルはより小さなモデルよりも偏りが強いことが分かる。 T0シリーズは、ここで研究された20のLLMのうち、最もバイアスの少ないモデルファミリーである。 コードはhttps://github.com/vipulgupta1011/CALMで公開されている。

関連論文リスト

• With a Grain of SALT: Are LLMs Fair Across Social Dimensions? [3.979019316355144]
  本稿では,オープンソースLarge Language Models (LLM) における様々な性別,宗教,人種間のバイアスの分析を行う。 一般討論,定位討論,キャリアアドバイザ,ストーリー生成,問題解決,カバーレタライティング,CV生成という,7つのバイアストリガを用いたバイアス検出データセットを生成する手法を提案する。 我々は, GPT-4o-mini を用いて各グループに関連付けられた LLM 生成テキストを匿名化し, GPT-4o-as-a-Judge を用いて相互比較を行う。
  論文  参考訳（メタデータ） (2024-10-16T12:22:47Z)
• Do Multilingual Large Language Models Mitigate Stereotype Bias? [9.31741279000585]
  この研究は、英語、ドイツ語、フランス語、イタリア語、スペイン語で同じ大きさの6つのLLMを体系的に訓練する。 単言語モデルと比較して,多言語モデルの方がバイアスの低いだけでなく,予測精度も優れていることが観察された。
  論文  参考訳（メタデータ） (2024-07-08T08:46:50Z)
• Paraphrase and Aggregate with Large Language Models for Minimizing Intent Classification Errors [19.601600598570215]
  大規模言語モデル(LLM)は,大規模な多クラス分類タスクにおいて高い性能を達成できるが,いまだに分類誤りを発生させ,さらに悪化させ,語彙外なクラスラベルを生成する。 本稿では、LLMが入力クエリ(並列クエリ)の複数のパラフレーズを生成するParaphrase and AGgregate (PAG)-LLMアプローチを提案する。 PAG-LLM は LLM が不確実なハードケースでは特に有効であり, 致命的誤分類と幻覚的ラベル生成誤差を低減させる。
  論文  参考訳（メタデータ） (2024-06-24T22:30:26Z)
• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  VLBiasBenchは、LVLM(Large Vision-Language Models)におけるバイアスの評価を目的としたベンチマークである。 我々は、年齢、障害状態、性別、国籍、身体的外観、人種、宗教、職業、社会的経済状態、および2つの交叉バイアスカテゴリー(人種x性、人種x社会経済状態)を含む9つの異なる社会バイアスカテゴリーを含むデータセットを構築した。 15のオープンソースモデルと1つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルから明らかになったバイアスに関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• The Impact of Unstated Norms in Bias Analysis of Language Models [0.03495246564946556]
  事実バイアス評価はバイアスの定量化に広く用いられている手法である。 テンプレートベースのプローブは非現実的なバイアス測定につながる可能性がある。
  論文  参考訳（メタデータ） (2024-04-04T14:24:06Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Taxonomy-based CheckList for Large Language Model Evaluation [0.0]
  我々は、自然言語の介入に人間の知識を導入し、事前訓練された言語モデル(LM)の振る舞いを研究する。 CheckListの振る舞いテストに触発されて,LMの非倫理的行動の探索と定量化を目的としたチェックリストスタイルのタスクを提案する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:07Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)
• Holistic Evaluation of Language Models [183.94891340168175]
  言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。 本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
  論文  参考訳（メタデータ） (2022-11-16T18:51:34Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。