論文の概要: Bias Beyond English: Counterfactual Tests for Bias in Sentiment Analysis in Four Languages

• arxiv url: http://arxiv.org/abs/2305.11673v1
• Date: Fri, 19 May 2023 13:38:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 14:18:58.233150
• Title: Bias Beyond English: Counterfactual Tests for Bias in Sentiment Analysis in Four Languages
• Title（参考訳）: 英語以外のバイアス:4つの言語におけるバイアス分析におけるバイアス対策
• Authors: Seraphina Goldfarb-Tarrant, Adam Lopez, Roi Blanco, Diego Marcheggiani
• Abstract要約: 感性分析システムは、多くの製品や数百の言語で使われている。 性別と人種の偏見は英語のSAシステムではよく研究されているが、他の言語では調査されていない。 ジェンダーと人種・移民の偏見を4言語で評価する対物評価コーパスを構築した。
• 参考スコア（独自算出の注目度）: 13.694445396757162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentiment analysis (SA) systems are used in many products and hundreds of languages. Gender and racial biases are well-studied in English SA systems, but understudied in other languages, with few resources for such studies. To remedy this, we build a counterfactual evaluation corpus for gender and racial/migrant bias in four languages. We demonstrate its usefulness by answering a simple but important question that an engineer might need to answer when deploying a system: What biases do systems import from pre-trained models when compared to a baseline with no pre-training? Our evaluation corpus, by virtue of being counterfactual, not only reveals which models have less bias, but also pinpoints changes in model bias behaviour, which enables more targeted mitigation strategies. We release our code and evaluation corpora to facilitate future research.
• Abstract（参考訳）: 感性分析(SA)システムは、多くの製品や数百の言語で使われている。 性別と人種の偏見は英語のSAシステムではよく研究されているが、他の言語では研究されていない。 これを改善するために、4つの言語で男女・人種・移民の偏見に対する反実的評価コーパスを構築した。 事前トレーニングのないベースラインと比較して、事前トレーニングされたモデルからシステムがインポートされるバイアスは、どのようなものか? 我々の評価コーパスは、非現実的であることから、どのモデルにバイアスが少ないかを明らかにするだけでなく、モデルバイアスの振る舞いの変化を指摘します。 今後の研究を促進するため、コードと評価コーパスをリリースする。

関連論文リスト

• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• On Evaluating and Mitigating Gender Biases in Multilingual Settings [5.248564173595024]
  複数言語設定におけるバイアスの評価と緩和に関する課題について検討する。 まず,事前学習したマスキング言語モデルにおいて,性別バイアスを評価するベンチマークを作成する。 我々は、様々なデバイアス法を英語以上に拡張し、SOTAの大規模多言語モデルの有効性を評価する。
  論文  参考訳（メタデータ） (2023-07-04T06:23:04Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Cross-lingual Transfer Can Worsen Bias in Sentiment Analysis [12.767209085664247]
  異言語間移動では性別や人種的偏見が輸入されるか検討する。 言語間移動を用いたシステムは通常、モノリンガルのシステムよりも偏りが強くなる。 また、人種バイアスはジェンダーバイアスよりもずっと多いことが分かっています。
  論文  参考訳（メタデータ） (2023-05-22T04:37:49Z)
• An Analysis of Social Biases Present in BERT Variants Across Multiple Languages [0.0]
  多様な言語からなる単言語BERTモデルにおけるバイアスについて検討する。 文の擬似類似度に基づいて,任意のバイアスを測定するテンプレートベースの手法を提案する。 偏見探索の現在の手法は言語に依存していると結論付けている。
  論文  参考訳（メタデータ） (2022-11-25T23:38:08Z)
• Bias at a Second Glance: A Deep Dive into Bias for German Educational Peer-Review Data Modeling [10.080007569933331]
  我々は5年間で9,165人のドイツのピアレビューのコーパスで、テキストと複数のアーキテクチャ間のバイアスを分析します。 収集したコーパスは, 共起解析やGloVe埋め込みにおいて多くのバイアスを示さない。 事前訓練されたドイツの言語モデルは、実質的な概念的、人種的、性別的偏見を見出す。
  論文  参考訳（メタデータ） (2022-09-21T13:08:16Z)
• Efficient Gender Debiasing of Pre-trained Indic Language Models [0.0]
  言語モデルが事前訓練されたデータに存在する性別バイアスは、これらのモデルを使用するシステムに反映される。 本稿では,ヒンディー語モデルにおける職業に関する性別バイアスを測定した。 以上の結果から,提案手法の適応後のバイアスが低減されることが示唆された。
  論文  参考訳（メタデータ） (2022-09-08T09:15:58Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)
• Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
  多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。 我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。