論文の概要: Evaluating Gender Bias in German Machine Translation

• arxiv url: http://arxiv.org/abs/2502.19104v1
• Date: Wed, 26 Feb 2025 12:46:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:57:52.319214
• Title: Evaluating Gender Bias in German Machine Translation
• Title（参考訳）: ドイツ機械翻訳におけるジェンダーバイアスの評価
• Authors: Michelle Kappl,
• Abstract要約: 我々は、ドイツ機械翻訳(MT)システムのための新しい性別バイアス評価テストセットWinoMTDEを提案する。 このデータセットは、性別やステレオタイプに関してバランスが取れた288のドイツ語文で構成されている。 5つの広く使われているMTシステムと大規模言語モデルの大規模評価を行う。 LLMは従来のシステムよりも優れており、ほとんどのモデルでは永続的なバイアスが示されています。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present WinoMTDE, a new gender bias evaluation test set designed to assess occupational stereotyping and underrepresentation in German machine translation (MT) systems. Building on the automatic evaluation method introduced by arXiv:1906.00591v1 [cs.CL], we extend the approach to German, a language with grammatical gender. The WinoMTDE dataset comprises 288 German sentences that are balanced in regard to gender, as well as stereotype, which was annotated using German labor statistics. We conduct a large-scale evaluation of five widely used MT systems and a large language model. Our results reveal persistent bias in most models, with the LLM outperforming traditional systems. The dataset and evaluation code are publicly available under https://github.com/michellekappl/mt_gender_german.
• Abstract（参考訳）: ドイツの機械翻訳(MT)システムにおいて,職業的ステレオタイピングと表現不足を評価するための新しい性別バイアス評価セットであるWinoMTDEを提案する。 arXiv:1906.00591v1[cs.CL]が導入した自動評価手法に基づいて,文法性を持つ言語であるドイツ語にアプローチを拡張した。 WinoMTDEデータセットは、ドイツの労働統計を用いて注釈付けされたステレオタイプと同様に、性別に関してバランスが取れた288のドイツ語文で構成されている。 5つの広く使われているMTシステムと大規模言語モデルの大規模評価を行う。 LLMは従来のシステムよりも優れており、ほとんどのモデルでは永続的なバイアスが示されています。 データセットと評価コードはhttps://github.com/michellekappl/mt_gender_germanで公開されている。

関連論文リスト

• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Building Bridges: A Dataset for Evaluating Gender-Fair Machine Translation into German [17.924716793621627]
  英独機械翻訳(MT)におけるジェンダーフェア言語の研究 2つの商用システムと6つのニューラルMTモデルを含む最初のベンチマーク研究を行う。 以上の結果から,ほとんどのシステムでは男性型が主流であり,性別ニュートラル変種は稀である。
  論文  参考訳（メタデータ） (2024-06-10T09:39:19Z)
• Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for Bias Evaluation in Machine Translation [0.0]
  我々はヒンディー語をソース言語とし、ヒンディー語(HI-EN)の異なるNMTシステムを評価するために、ジェンダー特化文の2つのセットを構築した。 本研究は,そのような外部バイアス評価データセットを設計する際に,言語の性質を考えることの重要性を強調した。
  論文  参考訳（メタデータ） (2023-11-07T07:09:59Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
  本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。 我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
  論文  参考訳（メタデータ） (2022-10-17T08:55:26Z)
• Unmasking Contextual Stereotypes: Measuring and Mitigating BERT's Gender Bias [12.4543414590979]
  文脈化された単語の埋め込みは、NLPシステムにおける標準的な埋め込みを置き換えている。 英語とドイツ語の専門職名と性別記述対象語との関係を調べた結果,性別バイアスを測定した。 偏見を測定する手法はドイツ語のような豊かでジェンダーの指標を持つ言語に適していることを示す。
  論文  参考訳（メタデータ） (2020-10-27T18:06:09Z)
• Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
  イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。 これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。 本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
  論文  参考訳（メタデータ） (2020-10-26T13:57:20Z)
• The LMU Munich System for the WMT 2020 Unsupervised Machine Translation Shared Task [125.06737861979299]
  本稿では,LMUミュンヘンのWMT 2020における非教師なし共有タスクへの2つの言語方向の提出について述べる。 我々のunsupervised neural machine translation (UNMT) システムは Chronopoulou et al の戦略に従っている。 我々は、最高の性能のシステムを集め、ドイツ語で32.4点、上セルビアで35.2点、ドイツで35.2点に達した。
  論文  参考訳（メタデータ） (2020-10-25T19:04:03Z)
• Gender Coreference and Bias Evaluation at WMT 2020 [16.814151914000856]
  機械翻訳における性差は、素早い性相関に基づいて性差を選択する際に現れる。 我々の研究は、WMTに提出された19以上のシステムにおいて、この現象の最大の証拠を示す。 すべてのシステムは、意味のある文脈情報ではなく、データ内の刺激的な相関を一貫して利用している。
  論文  参考訳（メタデータ） (2020-10-12T20:42:21Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)
• Reducing Gender Bias in Neural Machine Translation as a Domain Adaptation Problem [21.44025591721678]
  NLPタスクのトレーニングデータは、男性よりも女性に言及する文が少ないという性別バイアスを呈することが多い。 最近のWinoMTチャレンジセットでは、この効果を直接測定することができます。 私たちは、信頼できる性別バランスの例の小さなセットでトランスファーラーニングを使用します。
  論文  参考訳（メタデータ） (2020-04-09T11:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。