Fugu-MT 論文翻訳(概要): In-Depth Look at Word Filling Societal Bias Measures

論文の概要: In-Depth Look at Word Filling Societal Bias Measures

arxiv url: http://arxiv.org/abs/2302.12640v1
Date: Fri, 24 Feb 2023 14:08:07 GMT
ステータス: 処理完了
システム内更新日: 2023-02-27 13:27:49.797215
Title: In-Depth Look at Word Filling Societal Bias Measures
Title（参考訳）: 社会性バイアス対策における単語の深層化
Authors: Mat\'u\v{s} Pikuliak, Ivana Be\v{n}ov\'a, Viktor Bachrat\'y
Abstract要約: 我々は、StereoSetとCrowS-Pairsの2つの社会的偏見の妥当性を分析した。適切な制御群が構築された場合,これらの測定値が予期せぬ,非論理的な結果をもたらすことを示す。我々は、改良されたテストプロトコルで前進する方法を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Many measures of societal bias in language models have been proposed in recent years. A popular approach is to use a set of word filling prompts to evaluate the behavior of the language models. In this work, we analyze the validity of two such measures -- StereoSet and CrowS-Pairs. We show that these measures produce unexpected and illogical results when appropriate control group samples are constructed. Based on this, we believe that they are problematic and using them in the future should be reconsidered. We propose a way forward with an improved testing protocol. Finally, we also introduce a new gender bias dataset for Slovak.
Abstract（参考訳）: 近年,言語モデルにおける社会バイアスの尺度が数多く提案されている。一般的なアプローチは、言語モデルの振る舞いを評価するために単語充填プロンプトのセットを使用することである。本研究では,StereoSet と CrowS-Pairs の2つの対策の有効性を分析する。適切な制御群を作成した場合,これらの測定値が予期せぬ,非論理的な結果をもたらすことを示す。これに基づいて、これらは問題であり、将来的には再検討されるべきであると考えています。我々は、テストプロトコルを改善する方法を提案する。最後に,スロバキアにおける新たなジェンダーバイアスデータセットについても紹介する。

関連論文リスト

The Self-Contained Negation Test Set [1.8749305679160366]
我々は、入力の極性の関数としてのPLMの予測の修正を研究するGubelmann and Handschuh (2022) を英語で構築する。このテストでは、マスクされた位置で終わる自己完結'の入力を使用します。改良版である自己完結ネグテストを提案し、より制御され、より体系的であり、最小対を形成する例に基づいている。
論文参考訳（メタデータ） (2024-08-21T09:38:15Z)
What is Your Favorite Gender, MLM? Gender Bias Evaluation in Multilingual Masked Language Models [8.618945530676614]
本稿では,中国語,英語,ドイツ語,ポルトガル語,スペイン語の5言語から,多言語辞書の性別バイアスを推定する手法を提案する。ジェンダーバイアスのより堅牢な分析のための文対を生成するために,新しいモデルに基づく手法を提案する。以上の結果から,複数の評価指標をベストプラクティスとして用いた大規模データセットでは,性別バイアスを研究すべきであることが示唆された。
論文参考訳（メタデータ） (2024-04-09T21:12:08Z)
What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations [62.91799637259657]
大規模言語モデル(LLMs)は、応答を辞退しても、社会的な偏見を示すか? 本研究は,文脈的埋め込みを探索し,このバイアスが潜在表現にエンコードされているかどうかを探索することによって検討する。単語の隠れベクトルからLLMの単語ペア選好を予測するロジスティックなBradley-Terryプローブを提案する。
論文参考訳（メタデータ） (2023-11-30T18:53:13Z)
Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns [53.62845317039185]
バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
論文参考訳（メタデータ） (2023-02-11T12:11:03Z)
Challenges in Measuring Bias via Open-Ended Language Generation [1.5552869983952944]
我々は、プロンプトセット、メトリクス、自動ツール、サンプリング戦略の特定の選択がバイアス結果にどのように影響するかを分析する。オープンな言語生成におけるバイアスを報告するためのレコメンデーションを提供する。
論文参考訳（メタデータ） (2022-05-23T19:57:15Z)
"I'm sorry to hear that": Finding New Biases in Language Models with a Holistic Descriptor Dataset [12.000335510088648]
新しい包括的バイアス測定データセットであるHollisticBiasを紹介します。 HolisticBiasは、これらの用語の生きた経験を持つ専門家やコミュニティメンバーを含む参加的なプロセスで組み立てられた。我々は,HolisticBiasが,言語モデルからトークンの確率において,検出不能なバイアスを測定するのに有効であることを実証した。
論文参考訳（メタデータ） (2022-05-18T20:37:25Z)
Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
論文参考訳（メタデータ） (2022-05-14T11:47:58Z)
When Does Translation Require Context? A Data-driven, Multilingual Exploration [71.43817945875433]
談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
論文参考訳（メタデータ） (2021-09-15T17:29:30Z)
Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation [109.06060143938052]
テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
論文参考訳（メタデータ） (2021-04-12T06:57:36Z)
Stereotype and Skew: Quantifying Gender Bias in Pre-trained and Fine-tuned Language Models [5.378664454650768]
本稿では,文脈言語モデルにおける性別バイアスの定量化と分析を行う,スキューとステレオタイプという2つの直感的な指標を提案する。性別のステレオタイプは、アウト・オブ・ボックスモデルにおける性別の歪とほぼ負の相関関係にあり、これらの2種類のバイアスの間にトレードオフが存在することを示唆している。
論文参考訳（メタデータ） (2021-01-24T10:57:59Z)
The Gap on GAP: Tackling the Problem of Differing Data Distributions in Bias-Measuring Datasets [58.53269361115974]
バイアスモデルを検出する診断データセットは、自然言語処理におけるバイアス低減の重要な前提条件である。収集されたデータの望ましくないパターンは、そのようなテストを誤ったものにします。実験データにおけるそのようなパターンに対処するために, 実験サンプルを重み付けする理論的基礎的手法を提案する。
論文参考訳（メタデータ） (2020-11-03T16:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。