論文の概要: MT-GenEval: A Counterfactual and Contextual Dataset for Evaluating Gender Accuracy in Machine Translation

• arxiv url: http://arxiv.org/abs/2211.01355v1
• Date: Wed, 2 Nov 2022 17:55:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 13:20:26.165416
• Title: MT-GenEval: A Counterfactual and Contextual Dataset for Evaluating Gender Accuracy in Machine Translation
• Title（参考訳）: MT-GenEval:機械翻訳におけるジェンダーの精度評価のための対実的・文脈的データセット
• Authors: Anna Currey, Maria N\u{a}dejde, Raghavendra Pappagari, Mia Mayer, Stanislas Lauly, Xing Niu, Benjamin Hsu, Georgiana Dinu
• Abstract要約: MT-GenEvalは、英語から8言語への翻訳における性別の精度を評価するためのベンチマークである。 私たちのデータとコードは、CC BY SA 3.0ライセンスの下で公開されています。
• 参考スコア（独自算出の注目度）: 18.074541317458817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As generic machine translation (MT) quality has improved, the need for targeted benchmarks that explore fine-grained aspects of quality has increased. In particular, gender accuracy in translation can have implications in terms of output fluency, translation accuracy, and ethics. In this paper, we introduce MT-GenEval, a benchmark for evaluating gender accuracy in translation from English into eight widely-spoken languages. MT-GenEval complements existing benchmarks by providing realistic, gender-balanced, counterfactual data in eight language pairs where the gender of individuals is unambiguous in the input segment, including multi-sentence segments requiring inter-sentential gender agreement. Our data and code is publicly available under a CC BY SA 3.0 license.
• Abstract（参考訳）: 汎用機械翻訳(MT)の品質が向上するにつれて、品質のきめ細かい側面を探索するターゲットベンチマークの必要性が高まっている。 特に、翻訳における性別の正確さは、出力の流布度、翻訳の正確さ、倫理の点で意味を持つ。 本稿では, MT-GenEvalという, 英語から8つの言語への翻訳における性別の精度を評価するベンチマークについて紹介する。 mt-genevalは、インプットセグメントにおいて個人の性別が曖昧である8つの言語ペアにおいて、性別間の合意を必要とするマルチセンテンスセグメントを含む、現実的なジェンダーバランスの反事実データを提供することで、既存のベンチマークを補完する。 私たちのデータとコードは、CC BY SA 3.0ライセンスの下で公開されています。

関連論文リスト

• Watching the Watchers: Exposing Gender Disparities in Machine Translation Quality Estimation [28.01631390361754]
  男性求心性翻訳は女性求心性翻訳よりも高く、性中立性翻訳はペナル化される。 コンテキスト対応のQEメトリクスは、男性らしい参照のエラーを減らすが、女性参照の対処に失敗する。 この結果から,QE指標の男女差に対処する必要性が示唆された。
  論文  参考訳（メタデータ） (2024-10-14T18:24:52Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Fine-grained Gender Control in Machine Translation with Large Language Models [15.63784352130237]
  複数のエンティティを持つより現実的な入力設定で、制御された翻訳に取り組む。 提案手法は,詳細な実体レベルのジェンダー情報を用いてモデルを指示し,正しいジェンダーインフレクションで翻訳する。 我々は、複数の実体の性別を制御する際に、ジェンダー干渉現象が出現することを発見した。
  論文  参考訳（メタデータ） (2024-07-21T13:15:00Z)
• M4GT-Bench: Evaluation Benchmark for Black-Box Machine-Generated Text Detection [69.41274756177336]
  大規模言語モデル (LLMs) は様々なチャネルにまたがる機械生成テキスト (MGT) を前例のない急激な増加をもたらした。 このことは、その潜在的な誤用と社会的意味に関する正当な懸念を提起する。 本稿では,MGT-M4GT-Benchの多言語,マルチドメイン,マルチジェネレータコーパスに基づく新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-02-17T02:50:33Z)
• The Gender-GAP Pipeline: A Gender-Aware Polyglot Pipeline for Gender Characterisation in 55 Languages [51.2321117760104]
  本稿では,55言語を対象とした大規模データセットにおけるジェンダー表現を特徴付ける自動パイプラインであるGender-GAP Pipelineについて述べる。 このパイプラインは、性別付き人称名詞の多言語語彙を用いて、テキスト中の性別表現を定量化する。 本稿では、WMTのトレーニングデータとNewsタスクの開発データにジェンダー表現を報告し、現在のデータが男性表現にスキューされていることを確認する。
  論文  参考訳（メタデータ） (2023-08-31T17:20:50Z)
• Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus [82.07304301996562]
  本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
  論文  参考訳（メタデータ） (2023-05-18T17:36:41Z)
• Mitigating Gender Bias in Machine Translation through Adversarial Learning [0.8883733362171032]
  本稿では,Seq2seq機械翻訳におけるジェンダーバイアスを軽減するための課題に対処する逆学習フレームワークを提案する。 本枠組みは,英語翻訳では86%,フランス語翻訳では91%,男性対女性文では86%の翻訳品質を向上する。
  論文  参考訳（メタデータ） (2022-03-20T23:35:09Z)
• Investigating Failures of Automatic Translation in the Case of Unambiguous Gender [13.58884863186619]
  トランスフォーマーベースのモデルは、ニューラルマシン翻訳(NMT)のための現代の作業馬です。 我々は、名詞の性別をマークしない言語から他の名詞に翻訳することに関して、トランスフォーマーモデルによる体系的で初歩的なエラーのクラスを観察する。 トランスベースのNMTモデルがジェンダーを正しく翻訳する能力を測定するための評価スキームとデータセットをリリースします。
  論文  参考訳（メタデータ） (2021-04-16T00:57:36Z)
• Improving Gender Translation Accuracy with Filtered Self-Training [14.938401898546548]
  機械翻訳システムは、性別が文脈から明確である場合でも、しばしば誤った性別を出力する。 性別不明瞭な入力に対してジェンダー翻訳精度を向上させるためのジェンダーフィルターによる自己訓練手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T18:05:29Z)
• Decoding and Diversity in Machine Translation [90.33636694717954]
  NMTが楽しむBLEUスコアに対して支払う費用の多様性の違いを特徴付ける。 本研究は,ジェンダー代名詞を翻訳する際に,検索が既知バイアスの正解源となることを示唆する。
  論文  参考訳（メタデータ） (2020-11-26T21:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。