論文の概要: A comparison of translation performance between DeepL and Supertext

• arxiv url: http://arxiv.org/abs/2502.02577v1
• Date: Tue, 04 Feb 2025 18:53:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:00:04.948766
• Title: A comparison of translation performance between DeepL and Supertext
• Title（参考訳）: DeepLとSupertextの翻訳性能の比較
• Authors: Alex Flückiger, Chantal Amrhein, Tim Graf, Philippe Schläpfer, Florian Schottmann, Samuel Läubli,
• Abstract要約: 本研究では、DeepLとSupertextという2つの商用機械翻訳システムを比較した。 我々は4つの言語方向の翻訳品質を、文書レベルのコンテキストでセグメントを評価するプロの翻訳者を用いて評価する。 セグメントレベルの評価では、ほとんどの場合、システム間での強い嗜好は示されていないが、文書レベルの分析では、4つの言語方向のうち3つにスーパーテキストの嗜好が示される。
• 参考スコア（独自算出の注目度）: 3.689649115598612
• License:
• Abstract: As strong machine translation (MT) systems are increasingly based on large language models (LLMs), reliable quality benchmarking requires methods that capture their ability to leverage extended context. This study compares two commercial MT systems -- DeepL and Supertext -- by assessing their performance on unsegmented texts. We evaluate translation quality across four language directions with professional translators assessing segments with full document-level context. While segment-level assessments indicate no strong preference between the systems in most cases, document-level analysis reveals a preference for Supertext in three out of four language directions, suggesting superior consistency across longer texts. We advocate for more context-sensitive evaluation methodologies to ensure that MT quality assessments reflect real-world usability. We release all evaluation data and scripts for further analysis and reproduction at https://github.com/supertext/evaluation_deepl_supertext.
• Abstract（参考訳）: 強力な機械翻訳 (MT) システムは大規模言語モデル (LLM) をベースとしているため、信頼性の高い品質ベンチマークには、拡張されたコンテキストを活用する能力を捉える方法が必要である。 本研究では,2つの商用MTシステム(DeepLとSupertext)を比較し,その性能評価を行った。 我々は4つの言語方向の翻訳品質を、文書レベルのコンテキストでセグメントを評価するプロの翻訳者を用いて評価する。 セグメントレベルの評価では、ほとんどの場合、システム間での強い嗜好は示されていないが、文書レベルの分析では、4つの言語方向のうち3つにスーパーテキストが好まれており、より長いテキスト間での一貫性が優れていることが示唆されている。 我々は、MT品質評価が現実世界のユーザビリティを反映することを保証するために、より文脈に敏感な評価手法を提唱する。 我々は、すべての評価データとスクリプトをhttps://github.com/supertext/evaluation_deepl_supertextでリリースします。

関連論文リスト

• Benchmarking GPT-4 against Human Translators: A Comprehensive Evaluation Across Languages, Domains, and Expertise Levels [20.05501751993599]
  GPT-4は、全エラーの点において、中級のトランスレータに匹敵する性能を達成する。 従来のニューラル機械翻訳システムとは異なり、GPT-4は全ての評価された言語対に対して一貫した翻訳品質を維持している。
  論文  参考訳（メタデータ） (2024-11-21T01:12:46Z)
• Is Context Helpful for Chat Translation Evaluation? [23.440392979857247]
  我々は、機械翻訳チャットの品質を評価するために、既存の文レベル自動メトリクスのメタ評価を行う。 参照なしのメトリクスは、特に英語外設定で翻訳品質を評価する場合、参照ベースのメトリクスよりも遅れていることが分かりました。 大規模言語モデルを用いたバイリンガル文脈を用いた新しい評価指標 Context-MQM を提案する。
  論文  参考訳（メタデータ） (2024-03-13T07:49:50Z)
• Evaluating Optimal Reference Translations [4.956416618428049]
  本稿では,より信頼性の高い文書レベルの人文参照翻訳手法を提案する。 得られた文書レベルの最適参照翻訳を「標準」翻訳と比較して評価した。
  論文  参考訳（メタデータ） (2023-11-28T13:50:50Z)
• Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus [82.07304301996562]
  本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
  論文  参考訳（メタデータ） (2023-05-18T17:36:41Z)
• Exploring the Use of Large Language Models for Reference-Free Text Quality Evaluation: An Empirical Study [63.27346930921658]
  ChatGPTは、参照なしで様々な視点からテキスト品質を効果的に評価することができる。 ChatGPTを用いてテキスト品質を測定するExplicit Scoreは、3つの手法の中で最も効果的で信頼性の高い方法である。
  論文  参考訳（メタデータ） (2023-04-03T05:29:58Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Measuring Uncertainty in Translation Quality Evaluation (TQE) [62.997667081978825]
  本研究は,翻訳テキストのサンプルサイズに応じて,信頼区間を精度良く推定する動機づけた研究を行う。 我々はベルヌーイ統計分布モデリング (BSDM) とモンテカルロサンプリング分析 (MCSA) の手法を適用した。
  論文  参考訳（メタデータ） (2021-11-15T12:09:08Z)
• It is Not as Good as You Think! Evaluating Simultaneous Machine Translation on Interpretation Data [58.105938143865906]
  我々は、実解釈データに基づいて、SiMTシステムをトレーニングし、テストすべきであると主張している。 以上の結果から,SiMTモデルが翻訳データと解釈データで評価された場合,最大13.83BLEUスコアの違いが明らかになった。
  論文  参考訳（メタデータ） (2021-10-11T12:27:07Z)
• Diving Deep into Context-Aware Neural Machine Translation [36.17847243492193]
  本稿では,4つの領域における文書レベルのNMTモデルの性能を解析する。 ドキュメントレベルのNMTに最適なアプローチはひとつもありません。
  論文  参考訳（メタデータ） (2020-10-19T13:23:12Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。