論文の概要: Extending Challenge Sets to Uncover Gender Bias in Machine Translation:
Impact of Stereotypical Verbs and Adjectives
- arxiv url: http://arxiv.org/abs/2107.11584v1
- Date: Sat, 24 Jul 2021 11:22:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-28 08:10:11.344157
- Title: Extending Challenge Sets to Uncover Gender Bias in Machine Translation:
Impact of Stereotypical Verbs and Adjectives
- Title（参考訳）: 機械翻訳におけるジェンダーバイアス発見のための課題セットの拡張:ステレオタイプ動詞と形容詞の影響
- Authors: Jonas-Dario Troles, Ute Schmid
- Abstract要約: State-of-the-art Machine Translation (MT)システムは、主に人間が生成する大量のテキストコーパスに基づいて訓練されている。
近年の研究では、MTシステムは職業のステレオタイプ翻訳に偏っていることが示されている。
本稿では, ジェンダーバイアスのある形容詞と, ジェンダーバイアスのある動詞を含む文を付加した WiBeMT という課題集合の拡張について述べる。
- 参考スコア（独自算出の注目度）: 0.45687771576879593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human gender bias is reflected in language and text production. Because
state-of-the-art machine translation (MT) systems are trained on large corpora
of text, mostly generated by humans, gender bias can also be found in MT. For
instance when occupations are translated from a language like English, which
mostly uses gender neutral words, to a language like German, which mostly uses
a feminine and a masculine version for an occupation, a decision must be made
by the MT System. Recent research showed that MT systems are biased towards
stereotypical translation of occupations. In 2019 the first, and so far only,
challenge set, explicitly designed to measure the extent of gender bias in MT
systems has been published. In this set measurement of gender bias is solely
based on the translation of occupations. In this paper we present an extension
of this challenge set, called WiBeMT, with gender-biased adjectives and adds
sentences with gender-biased verbs. The resulting challenge set consists of
over 70, 000 sentences and has been translated with three commercial MT
systems: DeepL Translator, Microsoft Translator, and Google Translate. Results
show a gender bias for all three MT systems. This gender bias is to a great
extent significantly influenced by adjectives and to a lesser extent by verbs.
- Abstract（参考訳）: 人間の性バイアスは言語とテキスト生産に反映される。
MT(State-of-the-art machine translation)システムは、主に人間が生成する大量のテキストコーパスに基づいて訓練されているため、MTにも性別バイアスがある。
例えば、職業が英語のような言語からドイツ語のような言語に翻訳される場合、職業には女性用と男性用を主に用いている場合、MTシステムによって決定を下さなければならない。
最近の研究では、MTシステムは職業のステレオタイプ翻訳に偏っていることが示されている。
2019年、MTシステムにおける性バイアスの程度を明示的に測定するために設計された最初の挑戦セットが公開された。
この集合におけるジェンダーバイアスの測定は、職業の翻訳のみに基づいている。
本稿では, ジェンダーバイアスのある形容詞と, ジェンダーバイアスのある動詞を含む文を付加した WiBeMT という課題の拡張について述べる。
結果の課題セットは70,000以上の文で構成され、DeepL Translator、Microsoft Translator、Google Translateの3つの商用MTシステムで翻訳されている。
結果は3つのmtシステムすべてにおいて性別バイアスを示した。
この性バイアスは形容詞の影響が大きく、動詞による影響は少ない。
関連論文リスト
- Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。
本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。
本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
論文 参考訳（メタデータ） (2024-07-23T08:13:51Z) - Building Bridges: A Dataset for Evaluating Gender-Fair Machine Translation into German [17.924716793621627]
英独機械翻訳(MT)におけるジェンダーフェア言語の研究
2つの商用システムと6つのニューラルMTモデルを含む最初のベンチマーク研究を行う。
以上の結果から,ほとんどのシステムでは男性型が主流であり,性別ニュートラル変種は稀である。
論文 参考訳（メタデータ） (2024-06-10T09:39:19Z) - Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for
Bias Evaluation in Machine Translation [0.0]
我々はヒンディー語をソース言語とし、ヒンディー語(HI-EN)の異なるNMTシステムを評価するために、ジェンダー特化文の2つのセットを構築した。
本研究は,そのような外部バイアス評価データセットを設計する際に,言語の性質を考えることの重要性を強調した。
論文 参考訳（メタデータ） (2023-11-07T07:09:59Z) - Probing Explicit and Implicit Gender Bias through LLM Conditional Text
Generation [64.79319733514266]
大規模言語モデル(LLM)はバイアスと有害な応答を生成する。
本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
論文 参考訳（メタデータ） (2023-11-01T05:31:46Z) - Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender
Perturbation over Fairytale Texts [87.62403265382734]
近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。
本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
論文 参考訳（メタデータ） (2023-10-16T22:25:09Z) - VisoGender: A dataset for benchmarking gender bias in image-text pronoun
resolution [80.57383975987676]
VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。
We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。
我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
論文 参考訳（メタデータ） (2023-06-21T17:59:51Z) - Gender, names and other mysteries: Towards the ambiguous for
gender-inclusive translation [7.322734499960981]
本稿では,元文が明示的なジェンダーマーカーを欠いている場合について考察するが,目的文はより豊かな文法的ジェンダーによってそれらを含む。
MTデータ中の多くの名前と性別の共起は、ソース言語の「あいまいな性別」で解決できないことがわかった。
ジェンダー・インクルージョンの両面での曖昧さを受け入れるジェンダー・インクルージョン・トランスフォーメーションの可能性について論じる。
論文 参考訳（メタデータ） (2023-06-07T16:21:59Z) - Towards Understanding Gender-Seniority Compound Bias in Natural Language
Generation [64.65911758042914]
本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。
以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。
以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
論文 参考訳（メタデータ） (2022-05-19T20:05:02Z) - Gender Coreference and Bias Evaluation at WMT 2020 [16.814151914000856]
機械翻訳における性差は、素早い性相関に基づいて性差を選択する際に現れる。
我々の研究は、WMTに提出された19以上のシステムにおいて、この現象の最大の証拠を示す。
すべてのシステムは、意味のある文脈情報ではなく、データ内の刺激的な相関を一貫して利用している。
論文 参考訳（メタデータ） (2020-10-12T20:42:21Z) - Gender in Danger? Evaluating Speech Translation Technology on the
MuST-SHE Corpus [20.766890957411132]
英語のような生産的な文法的なジェンダーのない言語からジェンダーマーク付き言語に翻訳することは、機械にとってよく知られた困難である。
ジェンダーバイアスを減らすために、オーディオは追加情報を提供できるか?
本稿では、音声翻訳における性差に関する最初の徹底的な調査を行い、将来の研究に役立つベンチマークのリリースに寄与する。
論文 参考訳（メタデータ） (2020-06-10T09:55:38Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳（メタデータ） (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。