論文の概要: Identifying and Measuring Token-Level Sentiment Bias in Pre-trained
Language Models with Prompts
- arxiv url: http://arxiv.org/abs/2204.07289v1
- Date: Fri, 15 Apr 2022 02:01:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-18 23:10:02.410290
- Title: Identifying and Measuring Token-Level Sentiment Bias in Pre-trained
Language Models with Prompts
- Title(参考訳): プロンプト付き事前学習言語モデルにおけるトークンレベル知覚バイアスの同定と測定
- Authors: Apoorv Garg, Deval Srivastava, Zhiyang Xu, Lifu Huang
- Abstract要約: 大規模事前訓練言語モデル(PLM)は、社会の多くの側面において広く採用されている。
近年のプロンプトチューニングの進歩は, PLMの内部機構を探求する可能性を示している。
我々は2つのトークンレベル感情テストを提案する: 感性アソシエーションテスト(SAT)と感性シフトテスト(SST)。
- 参考スコア(独自算出の注目度): 7.510757198308537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the superior performance, large-scale pre-trained language models
(PLMs) have been widely adopted in many aspects of human society. However, we
still lack effective tools to understand the potential bias embedded in the
black-box models. Recent advances in prompt tuning show the possibility to
explore the internal mechanism of the PLMs. In this work, we propose two
token-level sentiment tests: Sentiment Association Test (SAT) and Sentiment
Shift Test (SST) which utilize the prompt as a probe to detect the latent bias
in the PLMs. Our experiments on the collection of sentiment datasets show that
both SAT and SST can identify sentiment bias in PLMs and SST is able to
quantify the bias. The results also suggest that fine-tuning can possibly
augment the existing bias in PLMs.
- Abstract(参考訳): 優れた性能のため、人間社会では大規模事前学習言語モデル(plm)が広く採用されている。
しかし、ブラックボックスモデルに埋め込まれた潜在的なバイアスを理解するための効果的なツールがない。
近年のプロンプトチューニングの進歩は, PLMの内部機構を探求する可能性を示している。
本研究では, PLMの潜伏バイアスを検出するために, プロンプトをプローブとして利用する感性アソシエーションテスト(SAT)と感性シフトテスト(SST)の2つのトークンレベル感情テストを提案する。
感情データセットの収集実験により、SATとSSTはPLMの感情バイアスを識別でき、SSTはバイアスを定量化できることが示された。
その結果、微調整がPLMの既存のバイアスを増大させる可能性が示唆された。
関連論文リスト
- GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - Bias A-head? Analyzing Bias in Transformer-Based Language Model
Attention Heads [18.72717791142179]
そこで本研究では,PLMの定型バイアスに寄与する少数のバイアスヘッドを探索し,同定するためのバイアス分析フレームワークを提案する。
本稿では,トランスフォーマーをベースとした2種類のPLM(エンコーダベースBERTモデル)とデコーダベース自己回帰GPTモデル(デコーダベースGPTモデル)において,英語の性差と人種バイアスについて検討する。
論文 参考訳(メタデータ) (2023-11-17T08:56:13Z) - Making Pre-trained Language Models both Task-solvers and
Self-calibrators [52.98858650625623]
プレトレーニング言語モデル(PLM)は、様々な現実世界のシステムのバックボーンとして機能する。
以前の研究は、余分なキャリブレーションタスクを導入することでこの問題を緩和できることを示している。
課題に対処するためのトレーニングアルゴリズムLM-TOASTを提案する。
論文 参考訳(メタデータ) (2023-07-21T02:51:41Z) - Language-Agnostic Bias Detection in Language Models with Bias Probing [22.695872707061078]
プレトレーニング言語モデル(PLM)はNLPの主要な構成要素であるが、強い社会的バイアスを含んでいる。
本研究では,PAMにおける社会的バイアスを頑健かつ言語に依存しない方法で評価するための,LABDetと呼ばれるバイアス探索手法を提案する。
歴史的・政治的文脈に整合した6つの言語において,一貫した民族性バイアスパターンがモノリンガル PLM にまたがっていることがわかった。
論文 参考訳(メタデータ) (2023-05-22T17:58:01Z) - BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models [73.29106813131818]
テスト文は限られた手動テンプレートから生成されるか、高価なクラウドソーシングを必要とするため、現時点ではバイアステストは煩雑である。
ソーシャルグループと属性の任意のユーザ指定の組み合わせを考慮し、テスト文の制御可能な生成にChatGPTを使うことを提案する。
本稿では,HuggingFace上にホストされているオープンソースの総合的バイアステストフレームワーク(BiasTestGPT)について紹介する。
論文 参考訳(メタデータ) (2023-02-14T22:07:57Z) - Blacks is to Anger as Whites is to Joy? Understanding Latent Affective
Bias in Large Pre-trained Neural Language Models [3.5278693565908137]
感情バイアス(Affective Bias)とは、特定の性別、人種、宗教に対する感情の関連性である。
PLMに基づく感情検出システムに統計的に有意な感情バイアスが存在することを示す。
論文 参考訳(メタデータ) (2023-01-21T20:23:09Z) - ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。
意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。
本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
論文 参考訳(メタデータ) (2022-11-10T08:41:40Z) - Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。
ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。
DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
論文 参考訳(メタデータ) (2022-05-23T10:11:50Z) - Few-shot Instruction Prompts for Pretrained Language Models to Detect
Social Biases [55.45617404586874]
我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。
大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
論文 参考訳(メタデータ) (2021-12-15T04:19:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。