論文の概要: Good, but not always Fair: An Evaluation of Gender Bias for three commercial Machine Translation Systems

• arxiv url: http://arxiv.org/abs/2306.05882v1
• Date: Fri, 9 Jun 2023 13:24:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 13:20:51.139484
• Title: Good, but not always Fair: An Evaluation of Gender Bias for three commercial Machine Translation Systems
• Title（参考訳）: 良いが常に公平ではない:3つの商用機械翻訳システムにおけるジェンダーバイアスの評価
• Authors: Silvia Alma Piazzolla, Beatrice Savoldi, Luisa Bentivogli
• Abstract要約: 本稿では、Google Translate、DeepL、Modern MTの3つの商用機械翻訳システムについて綿密に評価する。 3つの言語ペア(英語/スペイン語、英語/イタリア語、英語/フランス語)に対して、このようなシステムの振る舞いを、いくつかのレベルの粒度と、翻訳において自然に生じる様々なジェンダー現象について精査する。 本研究は, オンラインMTツールの現状を把握し, 3つのシステムの性別翻訳における大きな相違点を明らかにし, 全体的な翻訳品質に関わらず, それぞれのシステムが様々なバイアスを呈示することを示した。
• 参考スコア（独自算出の注目度）: 6.4747638153208795
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Machine Translation (MT) continues to make significant strides in quality and is increasingly adopted on a larger scale. Consequently, analyses have been redirected to more nuanced aspects, intricate phenomena, as well as potential risks that may arise from the widespread use of MT tools. Along this line, this paper offers a meticulous assessment of three commercial MT systems - Google Translate, DeepL, and Modern MT - with a specific focus on gender translation and bias. For three language pairs (English/Spanish, English/Italian, and English/French), we scrutinize the behavior of such systems at several levels of granularity and on a variety of naturally occurring gender phenomena in translation. Our study takes stock of the current state of online MT tools, by revealing significant discrepancies in the gender translation of the three systems, with each system displaying varying degrees of bias despite their overall translation quality.
• Abstract（参考訳）: 機械翻訳(MT)は品質を著しく向上させ続けており、より大規模に採用されている。 その結果、分析はよりニュアンス的な側面、複雑な現象、そしてmtツールの普及によって生じる潜在的なリスクに向けられた。 本稿では,Google Translate,DeepL,Modern MTの3つの商用MTシステムについて,特にジェンダー翻訳と偏見に着目し,綿密な評価を行う。 3つの言語ペア(英語/スペイン語、英語/イタリア語、英語/フランス語)に対して、このようなシステムの振る舞いを、いくつかのレベルの粒度と、翻訳において自然に生じる様々なジェンダー現象について精査する。 本研究は, オンラインMTツールの現状を把握し, 3つのシステムの性別翻訳における大きな相違点を明らかにし, 全体的な翻訳品質に関わらず, それぞれのシステムが様々なバイアスを呈示することを示した。

関連論文リスト

• Watching the Watchers: Exposing Gender Disparities in Machine Translation Quality Estimation [28.01631390361754]
  男性求心性翻訳は女性求心性翻訳よりも高く、性中立性翻訳はペナル化される。 コンテキスト対応のQEメトリクスは、男性らしい参照のエラーを減らすが、女性参照の対処に失敗する。 この結果から,QE指標の男女差に対処する必要性が示唆された。
  論文  参考訳（メタデータ） (2024-10-14T18:24:52Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Gender Bias in Machine Translation and The Era of Large Language Models [0.8702432681310399]
  この章では、性バイアスの持続化における機械翻訳の役割について検討し、言語横断的な設定と統計的依存関係によって生じる課題を強調している。 従来のニューラルマシン翻訳手法と、機械翻訳システムとして使用される生成事前学習トランスフォーマモデルの両方において、ジェンダーバイアスに関連する既存の作業の概要を概観する。
  論文  参考訳（メタデータ） (2024-01-18T14:34:49Z)
• BLEURT Has Universal Translations: An Analysis of Automatic Metrics by Minimum Risk Training [64.37683359609308]
  本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。 BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。 詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
  論文  参考訳（メタデータ） (2023-07-06T16:59:30Z)
• Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus [82.07304301996562]
  本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
  論文  参考訳（メタデータ） (2023-05-18T17:36:41Z)
• Supervised Visual Attention for Simultaneous Multimodal Machine Translation [47.18251159303909]
  本稿では,トランスフォーマーを用いた最初の同時機械翻訳(MMT)アーキテクチャを提案する。 我々は、ラベル付きフレーズ領域アライメントを用いて視覚的注意機構を誘導する補助的な監視信号を用いて、このモデルを拡張する。 その結果,教師付き視覚的注意はMTモデルの翻訳品質を常に向上させることがわかった。
  論文  参考訳（メタデータ） (2022-01-23T17:25:57Z)
• It is Not as Good as You Think! Evaluating Simultaneous Machine Translation on Interpretation Data [58.105938143865906]
  我々は、実解釈データに基づいて、SiMTシステムをトレーニングし、テストすべきであると主張している。 以上の結果から,SiMTモデルが翻訳データと解釈データで評価された場合,最大13.83BLEUスコアの違いが明らかになった。
  論文  参考訳（メタデータ） (2021-10-11T12:27:07Z)
• Machine Translationese: Effects of Algorithmic Bias on Linguistic Complexity in Machine Translation [2.0625936401496237]
  我々は、機械翻訳におけるジェンダーの研究を超えて、偏見の増幅がより広い意味で言語に与える影響を調査する。 我々は、異なるデータ駆動MTパラダイムによって生成された翻訳の言語的豊かさ(語彙的および形態学的レベルで)を評価する。
  論文  参考訳（メタデータ） (2021-01-30T18:49:11Z)
• Decoding and Diversity in Machine Translation [90.33636694717954]
  NMTが楽しむBLEUスコアに対して支払う費用の多様性の違いを特徴付ける。 本研究は,ジェンダー代名詞を翻訳する際に,検索が既知バイアスの正解源となることを示唆する。
  論文  参考訳（メタデータ） (2020-11-26T21:09:38Z)
• On the Integration of LinguisticFeatures into Statistical and Neural Machine Translation [2.132096006921048]
  機械翻訳に対する統計的アプローチの強みと人間の翻訳方法の相違について検討する。 自動翻訳システムがより正確な翻訳を行うために欠落している言語情報を同定する。 我々は、過一般化または「アルゴミックバイアス」をニューラルMTの潜在的な欠点として認識し、残りの言語問題の多くにリンクする。
  論文  参考訳（メタデータ） (2020-03-31T16:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。