Fugu-MT 論文翻訳(概要): Debiasing isn't enough! -- On the Effectiveness of Debiasing MLMs and their Social Biases in Downstream Tasks

論文の概要: Debiasing isn't enough! -- On the Effectiveness of Debiasing MLMs and their Social Biases in Downstream Tasks

arxiv url: http://arxiv.org/abs/2210.02938v1
Date: Thu, 6 Oct 2022 14:08:57 GMT
ステータス: 処理完了
システム内更新日: 2022-10-07 16:26:50.333994
Title: Debiasing isn't enough! -- On the Effectiveness of Debiasing MLMs and their Social Biases in Downstream Tasks
Title（参考訳）: 嫌悪だけでは不十分! --下流課題におけるMLMと社会的バイアスの緩和効果について
Authors: Masahiro Kaneko, Danushka Bollegala, Naoaki Okazaki
Abstract要約: 仮面言語モデル(MLM)におけるタスク非依存とタスク固有の社会的偏見評価の内在的関係について検討する。この2つの評価尺度の間には弱い相関しか存在しないことが判明した。
参考スコア（独自算出の注目度）: 33.044775876807826
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study the relationship between task-agnostic intrinsic and task-specific extrinsic social bias evaluation measures for Masked Language Models (MLMs), and find that there exists only a weak correlation between these two types of evaluation measures. Moreover, we find that MLMs debiased using different methods still re-learn social biases during fine-tuning on downstream tasks. We identify the social biases in both training instances as well as their assigned labels as reasons for the discrepancy between intrinsic and extrinsic bias evaluation measurements. Overall, our findings highlight the limitations of existing MLM bias evaluation measures and raise concerns on the deployment of MLMs in downstream applications using those measures.
Abstract（参考訳）: マスキング言語モデル(mlms)におけるタスク非依存的内在的およびタスク固有の社会的バイアス評価尺度の関係について検討し,これら2つの評価尺度の間には弱い相関しか存在しないことを見出した。さらに, 下流タスクの微調整中に, 異なる手法を用いて, MLMは社会的バイアスを再学習する傾向を示した。本研究は,内在バイアス評価と外因バイアス評価の相違を理由として,トレーニングインスタンスの社会的偏見とラベルを付与する。本研究は,既存のMLMバイアス評価尺度の限界を強調し,これらの尺度を用いた下流アプリケーションにおけるMLMの展開に関する懸念を提起する。

関連論文リスト

Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
メンバーシップ推論攻撃(MIA)は、特定のインスタンスがターゲットモデルのトレーニングデータの一部であるかどうかを判断することを目的としている。大規模言語モデル(LLM)にMIAを適用することは、事前学習データの大規模化と、会員シップのあいまいさによって、ユニークな課題をもたらす。 EM-MIAは,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練するLLMの新しいMIA手法である。
論文参考訳（メタデータ） (2024-10-10T03:31:16Z)
Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
論文参考訳（メタデータ） (2024-10-03T17:53:30Z)
A Multi-LLM Debiasing Framework [85.17156744155915]
大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。 LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-20T20:24:50Z)
Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
論文参考訳（メタデータ） (2024-08-20T23:54:26Z)
CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
論文参考訳（メタデータ） (2024-07-02T16:31:37Z)
Measuring Social Biases in Masked Language Models by Proxy of Prediction Quality [0.0]
社会政治学者は、しばしばテキストデータ表現(埋め込み)とは異なるバイアスを発見し、測定することを目的としている。本稿では,マスク付き言語モデルを用いて学習したトランスフォーマーによって符号化された社会的バイアスを評価する。提案手法により,提案手法により, 変圧器間の偏りのある文の相対的嗜好を, より正確に推定できることがわかった。
論文参考訳（メタデータ） (2024-02-21T17:33:13Z)
Measuring Implicit Bias in Explicitly Unbiased Large Language Models [14.279977138893846]
大規模言語モデル(LLM)は明示的な社会的バイアステストに合格するが、それでも暗黙のバイアスを課す。我々は、暗黙のバイアスを明らかにするプロンプトベースの方法であるLSM Implicit Biasと、意思決定タスクにおける微妙な差別を検出する戦略であるLSM Decision Biasの2つの新しいバイアス対策を導入する。これらの指標を用いて,4つの社会カテゴリーにまたがる8つの価値整合モデルにおいて,社会における傾向を反映する広汎なステレオタイプバイアスが発見された。
論文参考訳（メタデータ） (2024-02-06T15:59:23Z)
Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文参考訳（メタデータ） (2023-11-15T00:02:25Z)
Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文参考訳（メタデータ） (2023-09-02T00:32:55Z)
Constructing Holistic Measures for Social Biases in Masked Language Models [17.45153670825904]
Masked Language Models (MLM)は多くの自然言語処理タスクで成功している。現実世界のステレオタイプバイアスは、大きなテキストコーパスから学んだことから、インスパイアされる可能性が高い。 Kullback Leiblergence Score (KLDivS) とJensen Shannon Divergence Score (JSDivS) の2つの評価指標を提案し,社会バイアスの評価を行った。
論文参考訳（メタデータ） (2023-05-12T23:09:06Z)
What do Bias Measures Measure? [41.36968251743058]
自然言語処理モデルは、性別、人種、国籍などの保護された属性に関する社会的偏見を伝播させる。介入を作成し、これらのバイアスと関連する害を緩和するためには、そのようなバイアスを検出して測定することが不可欠である。本研究は、NLPタスク、メトリクス、データセット、社会的バイアスおよびそれに対応する害の関数として、NLPの既存のバイアス尺度に関する包括的調査を示す。
論文参考訳（メタデータ） (2021-08-07T04:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。