論文の概要: Don't Overlook the Grammatical Gender: Bias Evaluation for Hindi-English Machine Translation

• arxiv url: http://arxiv.org/abs/2312.03710v1
• Date: Sat, 11 Nov 2023 09:28:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 03:20:32.871872
• Title: Don't Overlook the Grammatical Gender: Bias Evaluation for Hindi-English Machine Translation
• Title（参考訳）: 文法的ジェンダーを見過ごさない:ヒンディー語-英語機械翻訳におけるバイアス評価
• Authors: Pushpdeep Singh
• Abstract要約: 既存の評価ベンチマークは主に翻訳のソース言語としての英語に焦点を当てている。 英語以外のソース言語では、研究はしばしばバイアス評価のために性中立の文を用いる。 本研究は,ソースコード中の文法的ジェンダーマーカーを考慮に入れたバイアス評価テストセットの調整の重要性を強調した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Machine Translation (NMT) models, though state-of-the-art for translation, often reflect social biases, particularly gender bias. Existing evaluation benchmarks primarily focus on English as the source language of translation. For source languages other than English, studies often employ gender-neutral sentences for bias evaluation, whereas real-world sentences frequently contain gender information in different forms. Therefore, it makes more sense to evaluate for bias using such source sentences to determine if NMT models can discern gender from the grammatical gender cues rather than relying on biased associations. To illustrate this, we create two gender-specific sentence sets in Hindi to automatically evaluate gender bias in various Hindi-English (HI-EN) NMT systems. We emphasise the significance of tailoring bias evaluation test sets to account for grammatical gender markers in the source language.
• Abstract（参考訳）: ニューラル機械翻訳(NMT)モデルは、翻訳の最先端であるが、しばしば社会的バイアス、特にジェンダーバイアスを反映する。 既存の評価ベンチマークは主に翻訳の言語としての英語に焦点を当てている。 英語以外のソース言語では、研究はしばしばバイアス評価のために性中立の文を用いるが、現実世界の文は、しばしば異なる形態の性別情報を含んでいる。 したがって、そのようなソース文を用いてバイアスを評価することで、nmtモデルが偏りのある関係に頼るのではなく、文法的な性別の手がかりから性別を識別できるかどうかを判断する方が理にかなっている。 これを説明するために、ヒンディー語に2つの性特化文セットを作成し、ヒンディー語(HI-EN)NMTシステムにおいて、ジェンダーバイアスを自動的に評価する。 ソース言語における文法的ジェンダーマーカーを考慮したバイアス評価テストセットの調整の重要性を強調する。

関連論文リスト

• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• What an Elegant Bridge: Multilingual LLMs are Biased Similarly in Different Languages [51.0349882045866]
  本稿では,Large Language Models (LLMs) の文法的ジェンダーのレンズによるバイアスについて検討する。 様々な言語における形容詞を持つ名詞を記述するためのモデルを提案し,特に文法性のある言語に焦点を当てた。 単純な分類器は、偶然以上の名詞の性別を予測できるだけでなく、言語間の移動可能性も示せる。
  論文  参考訳（メタデータ） (2024-07-12T22:10:16Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for Bias Evaluation in Machine Translation [0.0]
  我々はヒンディー語をソース言語とし、ヒンディー語(HI-EN)の異なるNMTシステムを評価するために、ジェンダー特化文の2つのセットを構築した。 本研究は,そのような外部バイアス評価データセットを設計する際に,言語の性質を考えることの重要性を強調した。
  論文  参考訳（メタデータ） (2023-11-07T07:09:59Z)
• Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts [87.62403265382734]
  近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。 本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
  論文  参考訳（メタデータ） (2023-10-16T22:25:09Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Mitigating Gender Stereotypes in Hindi and Marathi [1.2891210250935146]
  本稿ではヒンディー語とマラティー語におけるジェンダーステレオタイプを評価する。 我々は、エンベディング・コヒーレンス・テスト(ECT)と相対ノルム距離(RND)の助けを借りて、中立的およびジェンダー化された職業語、感情語、および測定バイアスのデータセットを作成する。 実験の結果,提案手法は,これらの言語における性バイアスを減少させることがわかった。
  論文  参考訳（メタデータ） (2022-05-12T06:46:53Z)
• Evaluating Gender Bias in Hindi-English Machine Translation [0.1503974529275767]
  我々は,ヒンディー語の文法的考察に基づいて,TGBI計量の修正版を実装した。 我々は、事前学習した埋め込みのための複数のメトリクスと、機械翻訳モデルで学習したメトリクスを比較して比較する。
  論文  参考訳（メタデータ） (2021-06-16T10:35:51Z)
• Neural Machine Translation Doesn't Translate Gender Coreference Right Unless You Make It [18.148675498274866]
  ニューラル・マシン・トランスフォーメーションに明示的な単語レベルのジェンダー・インフレクション・タグを組み込む手法を提案する。 既存の単純なアプローチは、文中の複数のエンティティにジェンダー・フィーチャーを過度に一般化することができる。 また,英語のジェンダーニュートラルな実体の翻訳を,それに対応する言語規則で評価する拡張も提案する。
  論文  参考訳（メタデータ） (2020-10-11T20:05:42Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。