論文の概要: Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words

• arxiv url: http://arxiv.org/abs/2407.16266v1
• Date: Tue, 23 Jul 2024 08:13:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 18:06:10.936518
• Title: Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words
• Title（参考訳）: バイナリジェンダーを超えて: あいまいな態度の単語を用いたジェンダー包摂型機械翻訳の評価
• Authors: Yijie Chen, Yijin Liu, Fandong Meng, Jinan Xu, Yufeng Chen, Jie Zhou,
• Abstract要約: 既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
• 参考スコア（独自算出の注目度）: 85.48043537327258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gender bias has been a focal point in the study of bias in machine translation and language models. Existing machine translation gender bias evaluations are primarily focused on male and female genders, limiting the scope of the evaluation. To assess gender bias accurately, these studies often rely on calculating the accuracy of gender pronouns or the masculine and feminine attributes of grammatical gender via the stereotypes triggered by occupations or sentiment words ({\em i.e.}, clear positive or negative attitude), which cannot extend to non-binary groups. This study presents a benchmark AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words), which assesses gender bias beyond binary gender. Meanwhile, we propose a novel process to evaluate gender bias based on the Emotional Attitude Score (EAS), which is used to quantify ambiguous attitude words. In evaluating three recent and effective open-source LLMs and one powerful multilingual translation-specific model, our main observations are: (1) The translation performance within non-binary gender contexts is markedly inferior in terms of translation quality and exhibits more negative attitudes than binary-gender contexts. (2) The analysis experiments indicate that incorporating constraint context in prompts for gender identity terms can substantially reduce translation bias, while the bias remains evident despite the presence of the constraints. The code is publicly available at \url{https://github.com/pppa2019/ambGIMT}.
• Abstract（参考訳）: ジェンダーバイアスは、機械翻訳と言語モデルにおけるバイアスの研究において焦点となっている。 既存の機械翻訳の性別バイアス評価は、主に男性と女性の性別に焦点を当てており、評価の範囲を制限している。 性別バイアスを正確に評価するために、これらの研究は、非二項群に拡張できない職業や感情語によって引き起こされるステレオタイプ(すなわち、明確な肯定的または否定的な態度)を通して、性代名詞または文法的性別の男性的・女性的属性の精度を計算することに依存することが多い。 本研究では,2進性以上の性差を評価するベンチマークAmbGIMT(性-包摂的機械翻訳とあいまいな態度語)を提案する。 一方,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案し,不明瞭な態度語を定量化する。 最近の3つのオープンソースLLMと1つの強力な多言語翻訳特化モデルの評価において、(1)非バイナリ性文脈における翻訳性能は、翻訳品質において著しく劣っており、バイナリ性文脈よりもネガティブな態度を示す。 2) 分析実験の結果,性同一性用語のプロンプトに制約コンテキストを組み込むことで翻訳バイアスを大幅に低減できることが示された。 コードは \url{https://github.com/pppa2019/ambGIMT} で公開されている。

関連論文リスト

• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• Don't Overlook the Grammatical Gender: Bias Evaluation for Hindi-English Machine Translation [0.0]
  既存の評価ベンチマークは主に翻訳のソース言語としての英語に焦点を当てている。 英語以外のソース言語では、研究はしばしばバイアス評価のために性中立の文を用いる。 本研究は,ソースコード中の文法的ジェンダーマーカーを考慮に入れたバイアス評価テストセットの調整の重要性を強調した。
  論文  参考訳（メタデータ） (2023-11-11T09:28:43Z)
• Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for Bias Evaluation in Machine Translation [0.0]
  我々はヒンディー語をソース言語とし、ヒンディー語(HI-EN)の異なるNMTシステムを評価するために、ジェンダー特化文の2つのセットを構築した。 本研究は,そのような外部バイアス評価データセットを設計する際に,言語の性質を考えることの重要性を強調した。
  論文  参考訳（メタデータ） (2023-11-07T07:09:59Z)
• Hi Guys or Hi Folks? Benchmarking Gender-Neutral Machine Translation with the GeNTE Corpus [15.388894407006852]
  機械翻訳(MT)は、しばしば男性やステレオタイプ表現にデフォルトを与える。 本研究は、英語からイタリア語へのジェンダーニュートラル翻訳に重点を置くことで、包括的言語への需要が高まっていることに対処する。
  論文  参考訳（メタデータ） (2023-10-08T21:44:00Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation [12.376309678270275]
  並列データが利用できない言語間のギャップを埋めることは、多言語NTTの性別バイアスに影響を与える。 本研究では, 言語に依存しない隠蔽表現が, ジェンダーの保存能力に及ぼす影響について検討した。 言語に依存しない表現は、ゼロショットモデルの男性バイアスを緩和し、ブリッジ言語におけるジェンダーインフレクションのレベルが増加し、話者関連性合意に対するより公平なジェンダー保存に関するゼロショット翻訳を超越することがわかった。
  論文  参考訳（メタデータ） (2023-05-26T13:51:50Z)
• "I'm fully who I am": Towards Centering Transgender and Non-Binary Voices to Measure Biases in Open Language Generation [69.25368160338043]
  トランスジェンダーとノンバイナリ(TGNB)の個人は、日常生活から差別や排除を不当に経験している。 オープン・ランゲージ・ジェネレーションにおいて,経験豊富なTGNB人物の疎外化を取り巻く社会的現実がいかに貢献し,持続するかを評価する。 我々はTGNB指向のコミュニティからキュレートされたテンプレートベースの実世界のテキストのデータセットであるTANGOを紹介する。
  論文  参考訳（メタデータ） (2023-05-17T04:21:45Z)
• Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation [64.65911758042914]
  本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。 以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。 以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:05:02Z)
• Neural Machine Translation Doesn't Translate Gender Coreference Right Unless You Make It [18.148675498274866]
  ニューラル・マシン・トランスフォーメーションに明示的な単語レベルのジェンダー・インフレクション・タグを組み込む手法を提案する。 既存の単純なアプローチは、文中の複数のエンティティにジェンダー・フィーチャーを過度に一般化することができる。 また,英語のジェンダーニュートラルな実体の翻訳を,それに対応する言語規則で評価する拡張も提案する。
  論文  参考訳（メタデータ） (2020-10-11T20:05:42Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。