論文の概要: Machine Translation Testing via Syntactic Tree Pruning

• arxiv url: http://arxiv.org/abs/2401.00751v1
• Date: Mon, 1 Jan 2024 13:28:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 15:56:01.261593
• Title: Machine Translation Testing via Syntactic Tree Pruning
• Title（参考訳）: 構文木刈りによる機械翻訳テスト
• Authors: Quanjun Zhang, Juan Zhai, Chunrong Fang, Jiawei Liu, Weisong Sun, Haichuan Hu, Qingyu Wang
• Abstract要約: 誤訳は、金銭的損失など、深刻な結果をもたらす可能性がある。 基礎となるニューラルネットワークの複雑さと難易度のため、機械翻訳システムのテストは困難である。
• 参考スコア（独自算出の注目度）: 19.023809217746955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine translation systems have been widely adopted in our daily life, making life easier and more convenient. Unfortunately, erroneous translations may result in severe consequences, such as financial losses. This requires to improve the accuracy and the reliability of machine translation systems. However, it is challenging to test machine translation systems because of the complexity and intractability of the underlying neural models. To tackle these challenges, we propose a novel metamorphic testing approach by syntactic tree pruning (STP) to validate machine translation systems. Our key insight is that a pruned sentence should have similar crucial semantics compared with the original sentence. Specifically, STP (1) proposes a core semantics-preserving pruning strategy by basic sentence structure and dependency relations on the level of syntactic tree representation; (2) generates source sentence pairs based on the metamorphic relation; (3) reports suspicious issues whose translations break the consistency property by a bag-of-words model. We further evaluate STP on two state-of-the-art machine translation systems (i.e., Google Translate and Bing Microsoft Translator) with 1,200 source sentences as inputs. The results show that STP can accurately find 5,073 unique erroneous translations in Google Translate and 5,100 unique erroneous translations in Bing Microsoft Translator (400% more than state-of-the-art techniques), with 64.5% and 65.4% precision, respectively. The reported erroneous translations vary in types and more than 90% of them cannot be found by state-of-the-art techniques. There are 9,393 erroneous translations unique to STP, which is 711.9% more than state-of-the-art techniques. Moreover, STP is quite effective to detect translation errors for the original sentences with a recall reaching 74.0%, improving state-of-the-art techniques by 55.1% on average.
• Abstract（参考訳）: 機械翻訳システムは私たちの日常生活に広く採用されており、生活をより簡単かつ便利にしている。 残念ながら、誤った翻訳は、金銭的損失などの深刻な結果をもたらす可能性がある。 これは機械翻訳システムの精度と信頼性を向上させる必要がある。 しかし、基礎となる神経モデルの複雑さと難解さのため、機械翻訳システムのテストは困難である。 これらの課題に取り組むために,機械翻訳システムを検証するための構文木刈り込み(stp)による新しいメタモルフィックテスト手法を提案する。 私たちの重要な洞察は、刈り取られた文は、原文と同じような重要な意味を持つべきだということです。 具体的には,(1)基本文構造による中核的な意味保存型プルーニング戦略と,(2)メタモルフィック関係に基づくソース文ペアの生成,(3)翻訳が単語のバッグ・オブ・ワード・モデルによって一貫性を損なう疑わしい問題を報告する。 さらに、1200のソース文を入力として、2つの最先端機械翻訳システム(Google TranslateとBing Microsoft Translator)上でSTPを評価する。 その結果、STPはGoogle Translateで5,073の誤訳を、Bing Microsoft Translatorで5,100の誤訳(最先端技術より400%多い)を、それぞれ64.5%と65.4%の精度で正確に見つけることができた。 報告された誤訳はタイプによって異なり、90%以上は最先端の技術では発見できない。 STPには9,393の誤訳があり、最先端技術よりも711.9%多い。 さらに、STPはリコール率74.0%の原文の翻訳誤りを検知し、平均55.1%の最先端技術を改善するのに非常に効果的である。

関連論文リスト

• Machine Translation Models are Zero-Shot Detectors of Translation Direction [46.41883195574249]
  平行テキストの翻訳方向を検出することは、機械翻訳訓練や評価に応用できるが、盗作や偽造の主張を解消するといった法医学的応用もある。 本研究では,翻訳文や機械翻訳文でよく知られた単純化効果によって動機付けられた,$p(texttranslation|text Origin)>p(textgenic|texttranslation)$という単純な仮説に基づいて,翻訳方向検出のための教師なしアプローチを検討する。
  論文  参考訳（メタデータ） (2024-01-12T18:59:02Z)
• Word Closure-Based Metamorphic Testing for Machine Translation [8.009584342926646]
  本稿では,既存の機械翻訳システム(MTS)MT手法の限界に対処するため,単語クロージャに基づく出力比較手法を提案する。 本手法は, 精度の向上とリコールにより, 既存の不正識別の精度を著しく向上させる。 また、翻訳エラーのF1スコアを35.9%向上させるのに役立つ。
  論文  参考訳（メタデータ） (2023-12-19T11:19:40Z)
• Crossing the Threshold: Idiomatic Machine Translation through Retrieval Augmentation and Loss Weighting [66.02718577386426]
  慣用的な翻訳と関連する問題を簡易に評価する。 我々は,変圧器をベースとした機械翻訳モデルが慣用的な翻訳に対して正しくデフォルトとなる点を明らかにするための合成実験を行った。 自然慣用句の翻訳を改善するために, 単純かつ効果的な2つの手法を導入する。
  論文  参考訳（メタデータ） (2023-10-10T23:47:25Z)
• Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding [53.84948040596055]
  修正された復号化目標を用いて、障害ケースを緩和する2つの関連手法を提案する。 大規模多言語モデルM2M-100 (418M) とSMaLL-100の実験は、これらの手法が幻覚やターゲット外の翻訳を抑制することを示した。
  論文  参考訳（メタデータ） (2023-09-13T17:15:27Z)
• Extrinsic Evaluation of Machine Translation Metrics [78.75776477562087]
  文レベルでの翻訳と翻訳の良さを区別する上で,自動尺度が信頼性が高いかどうかは不明である。 我々は,3つの下流言語タスクにおいて,最も広く使用されているMTメトリクス(chrF,COMET,BERTScoreなど)のセグメントレベル性能を評価する。 実験の結果,各指標は下流結果の外部評価と負の相関を示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-20T14:39:58Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)
• SemMT: A Semantic-based Testing Approach for Machine Translation Systems [11.166336490280749]
  本稿ではセマンティック類似性チェックに基づく機械翻訳システムの自動テスト手法であるSemMTを提案する。 SemMTはラウンドトリップ翻訳を適用し、原文と翻訳文のセマンティックな類似度を測定する。 我々は,SemMTが最先端の作業よりも高い効率を達成できることを実証した。
  論文  参考訳（メタデータ） (2020-12-03T10:42:56Z)
• Testing Machine Translation via Referential Transparency [28.931196266344926]
  本稿では,機械翻訳ソフトウェアの検証方法として,RTI(Referenceentially transparent inputs)を提案する。 私たちの実践的実装であるPurityは、このプロパティが翻訳によって壊れていることを検知します。 RTIを評価するために、Google TranslateとBing Microsoft Translatorを200のラベルのない文でテストするためにPurityを使用します。
  論文  参考訳（メタデータ） (2020-04-22T01:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。