論文の概要: Fine-grained Human Evaluation of Transformer and Recurrent Approaches to Neural Machine Translation for English-to-Chinese

• arxiv url: http://arxiv.org/abs/2006.08297v1
• Date: Mon, 15 Jun 2020 11:47:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 04:17:31.099942
• Title: Fine-grained Human Evaluation of Transformer and Recurrent Approaches to Neural Machine Translation for English-to-Chinese
• Title（参考訳）: トランスフォーマーの微粒化評価とニューラルマシン翻訳への再帰的アプローチ
• Authors: Yuying Ye, Antonio Toral
• Abstract要約: 我々は,Multidimensional Quality Metrics (MQM) フレームワークに準拠した誤り分類法を開発した。 次に、このカスタマイズされたエラー分類法を用いて、最先端のリカレントおよびトランスフォーマーベースのMTシステムの出力に対してエラーアノテーションを実行する。 得られたアノテーションは、最高の再帰システムと比較して、最適なトランスフォーマーシステムはエラーの総数を31%削減することを示している。
• 参考スコア（独自算出の注目度）: 3.3453601632404073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This research presents a fine-grained human evaluation to compare the Transformer and recurrent approaches to neural machine translation (MT), on the translation direction English-to-Chinese. To this end, we develop an error taxonomy compliant with the Multidimensional Quality Metrics (MQM) framework that is customised to the relevant phenomena of this translation direction. We then conduct an error annotation using this customised error taxonomy on the output of state-of-the-art recurrent- and Transformer-based MT systems on a subset of WMT2019's news test set. The resulting annotation shows that, compared to the best recurrent system, the best Transformer system results in a 31% reduction of the total number of errors and it produced significantly less errors in 10 out of 22 error categories. We also note that two of the systems evaluated do not produce any error for a category that was relevant for this translation direction prior to the advent of NMT systems: Chinese classifiers.
• Abstract（参考訳）: 本研究では,トランスフォーマーとニューラルマシン翻訳(MT)に対する反復的アプローチを,英語から中国語への翻訳方向で比較する。 そこで我々は,この翻訳方向の関連現象に合わせてカスタマイズされた多次元品質指標(MQM)フレームワークに準拠した誤り分類法を開発した。 次に、WMT2019のニューステストセットのサブセット上で、最先端のリカレントおよびトランスフォーマーベースのMTシステムの出力に対して、このカスタマイズされたエラー分類を用いたエラーアノテーションを実行する。 その結果,ベストリカレントシステムと比較して,最高のトランスフォーマーシステムではエラー数が31%減少し,22のエラーカテゴリ中10のエラーが著しく減少した。 また、評価された2つのシステムは、NTTシステムの出現以前にこの翻訳方向に関連するカテゴリに対して、いかなる誤りも生じていないことに留意する。

関連論文リスト

• OTTAWA: Optimal TransporT Adaptive Word Aligner for Hallucination and Omission Translation Errors Detection [36.59354124910338]
  オタワ(Ottawa)は、機械翻訳システムにおける幻覚や失語の検出を強化するために特別に設計された単語整合器である。 提案手法は,HalOmiベンチマークを用いた18言語対の最先端手法と比較して,競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2024-06-04T03:00:55Z)
• Human Evaluation of English--Irish Transformer-Based NMT [2.648836772989769]
  ベストパフォーマンスのTransformerシステムは、RNNベースのモデルと比較して精度と誤差を著しく低減する。 Google Translateに対してベンチマークを行ったところ、我々の翻訳エンジンは大幅に改善された。
  論文  参考訳（メタデータ） (2024-03-04T11:45:46Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• BLEURT Has Universal Translations: An Analysis of Automatic Metrics by Minimum Risk Training [64.37683359609308]
  本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。 BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。 詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
  論文  参考訳（メタデータ） (2023-07-06T16:59:30Z)
• Categorizing Semantic Representations for Neural Machine Translation [53.88794787958174]
  ソースの文脈化表現に分類を導入する。 主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。 MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-13T04:07:08Z)
• Minimum Bayes Risk Decoding with Neural Metrics of Translation Quality [16.838064121696274]
  この作業は、翻訳品質の多様な自動メトリクスを最適化するために、最小ベイズリスクデコーディングを適用します。 実験により、神経翻訳モデルと神経基準に基づく計量であるBLEURTを組み合わせることで、自動評価と人的評価が大幅に改善されることが示されている。
  論文  参考訳（メタデータ） (2021-11-17T20:48:02Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Machine Translation of Novels in the Age of Transformer [1.6453685972661827]
  本研究では,ニューラルMT (NMT) の最先端アーキテクチャをベースとした,英語からカタルーニャ語への翻訳方向の機械翻訳システムを構築した。 本稿では,このMTシステムと他の3つのシステム(リカレントおよびフレーズベースパラダイムに基づく2つのドメイン固有システムと一般的なオンラインシステム)を比較した。 予想通り、ドメイン固有のトランスフォーマーベースのシステムは、すべての3つの評価において、全ての場合において、大きなマージンで、他の3つのシステムよりも優れていた。
  論文  参考訳（メタデータ） (2020-11-30T16:51:08Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)
• Explicit Reordering for Neural Machine Translation [50.70683739103066]
  Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。 本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。