論文の概要: Gender Coreference and Bias Evaluation at WMT 2020

• arxiv url: http://arxiv.org/abs/2010.06018v1
• Date: Mon, 12 Oct 2020 20:42:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 06:57:50.048290
• Title: Gender Coreference and Bias Evaluation at WMT 2020
• Title（参考訳）: WMT 2020におけるジェンダー基準とバイアス評価
• Authors: Tom Kocmi, Tomasz Limisiewicz, Gabriel Stanovsky
• Abstract要約: 機械翻訳における性差は、素早い性相関に基づいて性差を選択する際に現れる。 我々の研究は、WMTに提出された19以上のシステムにおいて、この現象の最大の証拠を示す。 すべてのシステムは、意味のある文脈情報ではなく、データ内の刺激的な相関を一貫して利用している。
• 参考スコア（独自算出の注目度）: 16.814151914000856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gender bias in machine translation can manifest when choosing gender inflections based on spurious gender correlations. For example, always translating doctors as men and nurses as women. This can be particularly harmful as models become more popular and deployed within commercial systems. Our work presents the largest evidence for the phenomenon in more than 19 systems submitted to the WMT over four diverse target languages: Czech, German, Polish, and Russian. To achieve this, we use WinoMT, a recent automatic test suite which examines gender coreference and bias when translating from English to languages with grammatical gender. We extend WinoMT to handle two new languages tested in WMT: Polish and Czech. We find that all systems consistently use spurious correlations in the data rather than meaningful contextual information.
• Abstract（参考訳）: 機械翻訳における性バイアスは、スプリアスな性相関に基づいて性転換を選択するときに現れる。 例えば、常に医師を男性として、看護師を女性として翻訳する。 これは、モデルがより普及し、商用システムにデプロイされるにつれて、特に有害である。 我々の研究は、チェコ語、ドイツ語、ポーランド語、ロシア語の4つの異なるターゲット言語に対して、WMTに提出された19以上のシステムにおいて、この現象の最大の証拠を示す。 これを実現するために、WinoMTは、英語から文法的なジェンダーを持つ言語に翻訳する際に、性別の基準とバイアスを検査する、最近の自動テストスイートである。 WMTでテストされた2つの新しい言語、ポーランド語とチェコ語を扱うためにWinoMTを拡張します。 すべてのシステムは、意味のある文脈情報ではなく、データ内の刺激的な相関を一貫して利用している。

関連論文リスト

• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Building Bridges: A Dataset for Evaluating Gender-Fair Machine Translation into German [17.924716793621627]
  英独機械翻訳(MT)におけるジェンダーフェア言語の研究 2つの商用システムと6つのニューラルMTモデルを含む最初のベンチマーク研究を行う。 以上の結果から,ほとんどのシステムでは男性型が主流であり,性別ニュートラル変種は稀である。
  論文  参考訳（メタデータ） (2024-06-10T09:39:19Z)
• Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
  多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。 多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。 以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-29T12:02:28Z)
• Don't Overlook the Grammatical Gender: Bias Evaluation for Hindi-English Machine Translation [0.0]
  既存の評価ベンチマークは主に翻訳のソース言語としての英語に焦点を当てている。 英語以外のソース言語では、研究はしばしばバイアス評価のために性中立の文を用いる。 本研究は,ソースコード中の文法的ジェンダーマーカーを考慮に入れたバイアス評価テストセットの調整の重要性を強調した。
  論文  参考訳（メタデータ） (2023-11-11T09:28:43Z)
• Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for Bias Evaluation in Machine Translation [0.0]
  我々はヒンディー語をソース言語とし、ヒンディー語(HI-EN)の異なるNMTシステムを評価するために、ジェンダー特化文の2つのセットを構築した。 本研究は,そのような外部バイアス評価データセットを設計する際に,言語の性質を考えることの重要性を強調した。
  論文  参考訳（メタデータ） (2023-11-07T07:09:59Z)
• The Gender-GAP Pipeline: A Gender-Aware Polyglot Pipeline for Gender Characterisation in 55 Languages [51.2321117760104]
  本稿では,55言語を対象とした大規模データセットにおけるジェンダー表現を特徴付ける自動パイプラインであるGender-GAP Pipelineについて述べる。 このパイプラインは、性別付き人称名詞の多言語語彙を用いて、テキスト中の性別表現を定量化する。 本稿では、WMTのトレーニングデータとNewsタスクの開発データにジェンダー表現を報告し、現在のデータが男性表現にスキューされていることを確認する。
  論文  参考訳（メタデータ） (2023-08-31T17:20:50Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation [64.65911758042914]
  本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。 以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。 以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:05:02Z)
• Extending Challenge Sets to Uncover Gender Bias in Machine Translation: Impact of Stereotypical Verbs and Adjectives [0.45687771576879593]
  State-of-the-art Machine Translation (MT)システムは、主に人間が生成する大量のテキストコーパスに基づいて訓練されている。 近年の研究では、MTシステムは職業のステレオタイプ翻訳に偏っていることが示されている。 本稿では, ジェンダーバイアスのある形容詞と, ジェンダーバイアスのある動詞を含む文を付加した WiBeMT という課題集合の拡張について述べる。
  論文  参考訳（メタデータ） (2021-07-24T11:22:10Z)
• Type B Reflexivization as an Unambiguous Testbed for Multilingual Multi-Task Gender Bias [5.239305978984572]
  我々は,B型回帰型言語の場合,性別バイアスを検出するためにマルチタスクチャレンジデータセットを構築することができることを示した。 これらの言語では「医者がマスクを取り除いた」という直訳は中音読みと不一致読みのあいまいさではない。 4つの言語と4つのNLPタスクにまたがる多言語・マルチタスク課題データセットを提案する。
  論文  参考訳（メタデータ） (2020-09-24T23:47:18Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。