論文の概要: Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for Bias Evaluation in Machine Translation

• arxiv url: http://arxiv.org/abs/2311.03767v1
• Date: Tue, 7 Nov 2023 07:09:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 16:23:07.027236
• Title: Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for Bias Evaluation in Machine Translation
• Title（参考訳）: ジェンダーの抑揚または偏り--機械翻訳におけるバイアス評価のための文法的ジェンダー手がかりの使用について
• Authors: Pushpdeep Singh
• Abstract要約: 我々はヒンディー語をソース言語とし、ヒンディー語(HI-EN)の異なるNMTシステムを評価するために、ジェンダー特化文の2つのセットを構築した。 本研究は,そのような外部バイアス評価データセットを設計する際に,言語の性質を考えることの重要性を強調した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Machine Translation (NMT) models are state-of-the-art for machine translation. However, these models are known to have various social biases, especially gender bias. Most of the work on evaluating gender bias in NMT has focused primarily on English as the source language. For source languages different from English, most of the studies use gender-neutral sentences to evaluate gender bias. However, practically, many sentences that we encounter do have gender information. Therefore, it makes more sense to evaluate for bias using such sentences. This allows us to determine if NMT models can identify the correct gender based on the grammatical gender cues in the source sentence rather than relying on biased correlations with, say, occupation terms. To demonstrate our point, in this work, we use Hindi as the source language and construct two sets of gender-specific sentences: OTSC-Hindi and WinoMT-Hindi that we use to evaluate different Hindi-English (HI-EN) NMT systems automatically for gender bias. Our work highlights the importance of considering the nature of language when designing such extrinsic bias evaluation datasets.
• Abstract（参考訳）: Neural Machine Translation(NMT)モデルは、機械翻訳の最先端技術である。 しかし、これらのモデルは様々な社会バイアス、特に性バイアスを持つことが知られている。 nmtにおけるジェンダーバイアスの評価に関するほとんどの仕事は、主に英語をソース言語として扱っている。 英語とは異なるソース言語では、ほとんどの研究は性バイアスを評価するために性中立の文を使用する。 しかし、実際には、私たちが遭遇する多くの文は性別情報を持っている。 したがって、そのような文を用いて偏見を評価することはより合理的である。 これにより、NMTモデルは、例えば、職業用語とのバイアス付き相関に頼らず、原文の文法的ジェンダーキューに基づいて正しいジェンダーを特定できるかどうかを判断できる。 本研究では,ヒンディー語を原語として用いて,ジェンダーの偏見を自動評価するために使用する,OTSC-HindiとWinoMT-Hindiという2種類のジェンダー固有文を構築した。 本研究は,このような偏り評価データセットを設計する際に言語の性質を検討することの重要性を強調した。

関連論文リスト

• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Don't Overlook the Grammatical Gender: Bias Evaluation for Hindi-English Machine Translation [0.0]
  既存の評価ベンチマークは主に翻訳のソース言語としての英語に焦点を当てている。 英語以外のソース言語では、研究はしばしばバイアス評価のために性中立の文を用いる。 本研究は,ソースコード中の文法的ジェンダーマーカーを考慮に入れたバイアス評価テストセットの調整の重要性を強調した。
  論文  参考訳（メタデータ） (2023-11-11T09:28:43Z)
• Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts [87.62403265382734]
  近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。 本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
  論文  参考訳（メタデータ） (2023-10-16T22:25:09Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Efficient Gender Debiasing of Pre-trained Indic Language Models [0.0]
  言語モデルが事前訓練されたデータに存在する性別バイアスは、これらのモデルを使用するシステムに反映される。 本稿では,ヒンディー語モデルにおける職業に関する性別バイアスを測定した。 以上の結果から,提案手法の適応後のバイアスが低減されることが示唆された。
  論文  参考訳（メタデータ） (2022-09-08T09:15:58Z)
• Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation [64.65911758042914]
  本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。 以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。 以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:05:02Z)
• Mitigating Gender Stereotypes in Hindi and Marathi [1.2891210250935146]
  本稿ではヒンディー語とマラティー語におけるジェンダーステレオタイプを評価する。 我々は、エンベディング・コヒーレンス・テスト(ECT)と相対ノルム距離(RND)の助けを借りて、中立的およびジェンダー化された職業語、感情語、および測定バイアスのデータセットを作成する。 実験の結果,提案手法は,これらの言語における性バイアスを減少させることがわかった。
  論文  参考訳（メタデータ） (2022-05-12T06:46:53Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。