論文の概要: MT-GenEval: A Counterfactual and Contextual Dataset for Evaluating
Gender Accuracy in Machine Translation
- arxiv url: http://arxiv.org/abs/2211.01355v1
- Date: Wed, 2 Nov 2022 17:55:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 13:20:26.165416
- Title: MT-GenEval: A Counterfactual and Contextual Dataset for Evaluating
Gender Accuracy in Machine Translation
- Title(参考訳): MT-GenEval:機械翻訳におけるジェンダーの精度評価のための対実的・文脈的データセット
- Authors: Anna Currey, Maria N\u{a}dejde, Raghavendra Pappagari, Mia Mayer,
Stanislas Lauly, Xing Niu, Benjamin Hsu, Georgiana Dinu
- Abstract要約: MT-GenEvalは、英語から8言語への翻訳における性別の精度を評価するためのベンチマークである。
私たちのデータとコードは、CC BY SA 3.0ライセンスの下で公開されています。
- 参考スコア(独自算出の注目度): 18.074541317458817
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As generic machine translation (MT) quality has improved, the need for
targeted benchmarks that explore fine-grained aspects of quality has increased.
In particular, gender accuracy in translation can have implications in terms of
output fluency, translation accuracy, and ethics. In this paper, we introduce
MT-GenEval, a benchmark for evaluating gender accuracy in translation from
English into eight widely-spoken languages. MT-GenEval complements existing
benchmarks by providing realistic, gender-balanced, counterfactual data in
eight language pairs where the gender of individuals is unambiguous in the
input segment, including multi-sentence segments requiring inter-sentential
gender agreement. Our data and code is publicly available under a CC BY SA 3.0
license.
- Abstract(参考訳): 汎用機械翻訳(MT)の品質が向上するにつれて、品質のきめ細かい側面を探索するターゲットベンチマークの必要性が高まっている。
特に、翻訳における性別の正確さは、出力の流布度、翻訳の正確さ、倫理の点で意味を持つ。
本稿では, MT-GenEvalという, 英語から8つの言語への翻訳における性別の精度を評価するベンチマークについて紹介する。
mt-genevalは、インプットセグメントにおいて個人の性別が曖昧である8つの言語ペアにおいて、性別間の合意を必要とするマルチセンテンスセグメントを含む、現実的なジェンダーバランスの反事実データを提供することで、既存のベンチマークを補完する。
私たちのデータとコードは、CC BY SA 3.0ライセンスの下で公開されています。
関連論文リスト
- M4GT-Bench: Evaluation Benchmark for Black-Box Machine-Generated Text
Detection [70.96684450854274]
大規模言語モデル(LLM)は、機械生成テキスト(MGT)に前例のない急上昇をもたらした。
このことは、その潜在的な誤用と社会的意味に関する正当な懸念を提起する。
これらの内容と本物の人間生成テキストを識別し区別する必要性は、偽情報との戦いにおいて重要である。
論文 参考訳(メタデータ) (2024-02-17T02:50:33Z) - Gender Bias in Machine Translation and The Era of Large Language Models [0.8702432681310399]
この章では、性バイアスの持続化における機械翻訳の役割について検討し、言語横断的な設定と統計的依存関係によって生じる課題を強調している。
従来のニューラルマシン翻訳手法と、機械翻訳システムとして使用される生成事前学習トランスフォーマモデルの両方において、ジェンダーバイアスに関連する既存の作業の概要を概観する。
論文 参考訳(メタデータ) (2024-01-18T14:34:49Z) - Hi Guys or Hi Folks? Benchmarking Gender-Neutral Machine Translation
with the GeNTE Corpus [15.388894407006852]
機械翻訳(MT)は、しばしば男性やステレオタイプ表現にデフォルトを与える。
本研究は、英語からイタリア語へのジェンダーニュートラル翻訳に重点を置くことで、包括的言語への需要が高まっていることに対処する。
論文 参考訳(メタデータ) (2023-10-08T21:44:00Z) - The Gender-GAP Pipeline: A Gender-Aware Polyglot Pipeline for Gender
Characterisation in 55 Languages [51.2321117760104]
本稿では,55言語を対象とした大規模データセットにおけるジェンダー表現を特徴付ける自動パイプラインであるGender-GAP Pipelineについて述べる。
このパイプラインは、性別付き人称名詞の多言語語彙を用いて、テキスト中の性別表現を定量化する。
本稿では、WMTのトレーニングデータとNewsタスクの開発データにジェンダー表現を報告し、現在のデータが男性表現にスキューされていることを確認する。
論文 参考訳(メタデータ) (2023-08-31T17:20:50Z) - SEAHORSE: A Multilingual, Multifaceted Dataset for Summarization
Evaluation [52.186343500576214]
本稿では,多言語・多面的要約評価のためのデータセットSEAHORSEを紹介する。
SEAHORSEは、テキスト品質の6次元に沿って人間格付けされた96Kの要約で構成されている。
本稿では,SEAHORSEでトレーニングしたメトリクスが,ドメイン外メタ評価ベンチマークTRUEとmFACEで高い性能を示すことを示す。
論文 参考訳(メタデータ) (2023-05-22T16:25:07Z) - Discourse Centric Evaluation of Machine Translation with a Densely
Annotated Parallel Corpus [82.07304301996562]
本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。
ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。
我々はMT出力が人間の翻訳と基本的に異なることを発見した。
論文 参考訳(メタデータ) (2023-05-18T17:36:41Z) - Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。
我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。
実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
論文 参考訳(メタデータ) (2022-12-20T14:39:58Z) - Mitigating Gender Bias in Machine Translation through Adversarial
Learning [0.8883733362171032]
本稿では,Seq2seq機械翻訳におけるジェンダーバイアスを軽減するための課題に対処する逆学習フレームワークを提案する。
本枠組みは,英語翻訳では86%,フランス語翻訳では91%,男性対女性文では86%の翻訳品質を向上する。
論文 参考訳(メタデータ) (2022-03-20T23:35:09Z) - Investigating Failures of Automatic Translation in the Case of
Unambiguous Gender [13.58884863186619]
トランスフォーマーベースのモデルは、ニューラルマシン翻訳(NMT)のための現代の作業馬です。
我々は、名詞の性別をマークしない言語から他の名詞に翻訳することに関して、トランスフォーマーモデルによる体系的で初歩的なエラーのクラスを観察する。
トランスベースのNMTモデルがジェンダーを正しく翻訳する能力を測定するための評価スキームとデータセットをリリースします。
論文 参考訳(メタデータ) (2021-04-16T00:57:36Z) - Improving Gender Translation Accuracy with Filtered Self-Training [14.938401898546548]
機械翻訳システムは、性別が文脈から明確である場合でも、しばしば誤った性別を出力する。
性別不明瞭な入力に対してジェンダー翻訳精度を向上させるためのジェンダーフィルターによる自己訓練手法を提案する。
論文 参考訳(メタデータ) (2021-04-15T18:05:29Z) - Decoding and Diversity in Machine Translation [90.33636694717954]
NMTが楽しむBLEUスコアに対して支払う費用の多様性の違いを特徴付ける。
本研究は,ジェンダー代名詞を翻訳する際に,検索が既知バイアスの正解源となることを示唆する。
論文 参考訳(メタデータ) (2020-11-26T21:09:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。