論文の概要: Test Suites Task: Evaluation of Gender Fairness in MT with MuST-SHE and INES

• arxiv url: http://arxiv.org/abs/2310.19345v1
• Date: Mon, 30 Oct 2023 08:36:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 21:09:37.311349
• Title: Test Suites Task: Evaluation of Gender Fairness in MT with MuST-SHE and INES
• Title（参考訳）: テストスイートタスク: MuST-SHE と INES を用いたMT におけるジェンダーフェアネスの評価
• Authors: Beatrice Savoldi and Marco Gaido and Matteo Negri and Luisa Bentivogli
• Abstract要約: 本稿では,MuST-SHE-WMT23とINESの2つのテストスイートの評価結果について要約する。 以上の結果から,女性と男性の両方のジェンダー形態を自然主義的なジェンダー現象に正しく翻訳する上で,システムは合理的かつ同等のパフォーマンスを達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 22.464172925523908
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As part of the WMT-2023 "Test suites" shared task, in this paper we summarize the results of two test suites evaluations: MuST-SHE-WMT23 and INES. By focusing on the en-de and de-en language pairs, we rely on these newly created test suites to investigate systems' ability to translate feminine and masculine gender and produce gender-inclusive translations. Furthermore we discuss metrics associated with our test suites and validate them by means of human evaluations. Our results indicate that systems achieve reasonable and comparable performance in correctly translating both feminine and masculine gender forms for naturalistic gender phenomena. Instead, the generation of inclusive language forms in translation emerges as a challenging task for all the evaluated MT models, indicating room for future improvements and research on the topic.
• Abstract（参考訳）: WMT-2023"テストスイート"共有タスクの一部として,MuST-SHE-WMT23とINESの2つのテストスイートの評価結果を要約する。 en-de と de-en の言語ペアに焦点をあてることで、私たちはこれらの新しく作られたテストスイートを利用して、女性と男性を翻訳し、性別非包括的な翻訳を生成するシステムの能力を調査します。 さらに,テストスイートに関連する指標について議論し,人間による評価によって検証する。 以上の結果から,女性と男性の両方の性別形態を自然主義的なジェンダー現象に正しく翻訳する上で,システムは合理的かつ同等のパフォーマンスを達成できることが示唆された。 代わりに、翻訳における包括的言語フォームの生成は、全ての評価されたMTモデルの挑戦的なタスクとして現れ、今後の改善とトピックの研究の余地を示す。

関連論文リスト

• Generating Gender Alternatives in Machine Translation [13.153018685139413]
  機械翻訳システムは、あいまいな性別の用語を、システムのトレーニングデータに最もよく見られる性別の形式に翻訳することが多い。 これはしばしば社会に存在する有害なステレオタイプを反映し永続する。 文法的に正しいジェンダー変換の代案を全て生成する問題について検討する。
  論文  参考訳（メタデータ） (2024-07-29T22:10:51Z)
• Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
  既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。 本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。 本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T08:13:51Z)
• Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus [82.07304301996562]
  本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
  論文  参考訳（メタデータ） (2023-05-18T17:36:41Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• MT-GenEval: A Counterfactual and Contextual Dataset for Evaluating Gender Accuracy in Machine Translation [18.074541317458817]
  MT-GenEvalは、英語から8言語への翻訳における性別の精度を評価するためのベンチマークである。 私たちのデータとコードは、CC BY SA 3.0ライセンスの下で公開されています。
  論文  参考訳（メタデータ） (2022-11-02T17:55:43Z)
• Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
  本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。 我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
  論文  参考訳（メタデータ） (2022-10-17T08:55:26Z)
• Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation [64.65911758042914]
  本研究では,事前学習したニューラルジェネレーションモデルにおける性別バイアスの程度に,高齢者がどのような影響を及ぼすかを検討する。 以上の結果から, GPT-2は, 両領域において, 女性を中年, 男性を中年として考えることにより, 偏見を増幅することが示された。 以上の結果から, GPT-2を用いて構築したNLPアプリケーションは, プロの能力において女性に害を与える可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-19T20:05:02Z)
• Investigating Failures of Automatic Translation in the Case of Unambiguous Gender [13.58884863186619]
  トランスフォーマーベースのモデルは、ニューラルマシン翻訳(NMT)のための現代の作業馬です。 我々は、名詞の性別をマークしない言語から他の名詞に翻訳することに関して、トランスフォーマーモデルによる体系的で初歩的なエラーのクラスを観察する。 トランスベースのNMTモデルがジェンダーを正しく翻訳する能力を測定するための評価スキームとデータセットをリリースします。
  論文  参考訳（メタデータ） (2021-04-16T00:57:36Z)
• Decoding and Diversity in Machine Translation [90.33636694717954]
  NMTが楽しむBLEUスコアに対して支払う費用の多様性の違いを特徴付ける。 本研究は,ジェンダー代名詞を翻訳する際に,検索が既知バイアスの正解源となることを示唆する。
  論文  参考訳（メタデータ） (2020-11-26T21:09:38Z)
• Evaluating Gender Bias in Speech Translation [0.0]
  本稿では、音声翻訳におけるジェンダーバイアスを評価するために、WinoSTを提案する。 最先端のエンドツーエンド音声翻訳システムを用いて、4つの言語対の性別バイアス評価を報告する。
  論文  参考訳（メタデータ） (2020-10-27T17:24:27Z)
• Gender Coreference and Bias Evaluation at WMT 2020 [16.814151914000856]
  機械翻訳における性差は、素早い性相関に基づいて性差を選択する際に現れる。 我々の研究は、WMTに提出された19以上のシステムにおいて、この現象の最大の証拠を示す。 すべてのシステムは、意味のある文脈情報ではなく、データ内の刺激的な相関を一貫して利用している。
  論文  参考訳（メタデータ） (2020-10-12T20:42:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。