論文の概要: Evaluating Robustness to Input Perturbations for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2005.00580v1
• Date: Fri, 1 May 2020 19:54:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 23:55:26.848332
• Title: Evaluating Robustness to Input Perturbations for Neural Machine Translation
• Title（参考訳）: ニューラルネットワーク翻訳における入力摂動に対するロバスト性の評価
• Authors: Xing Niu, Prashant Mathur, Georgiana Dinu, Yaser Al-Onaizan
• Abstract要約: 本稿では,入力に小さな摂動を加えた場合の相対的劣化と変換の変化を計測する追加指標を提案する。 その結果,提案手法は,単語正規化手法を用いた場合の摂動に対する頑健性向上の傾向を明らかにした。
• 参考スコア（独自算出の注目度）: 28.719601085732204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Machine Translation (NMT) models are sensitive to small perturbations in the input. Robustness to such perturbations is typically measured using translation quality metrics such as BLEU on the noisy input. This paper proposes additional metrics which measure the relative degradation and changes in translation when small perturbations are added to the input. We focus on a class of models employing subword regularization to address robustness and perform extensive evaluations of these models using the robustness measures proposed. Results show that our proposed metrics reveal a clear trend of improved robustness to perturbations when subword regularization methods are used.
• Abstract（参考訳）: ニューラル機械翻訳(NMT)モデルは入力の小さな摂動に敏感である。 このような摂動に対するロバスト性は、通常、騒がしい入力に対するbleuなどの翻訳品質指標を用いて測定される。 本稿では,入力に小さな摂動を加えた場合の相対的劣化と変換の変化を計測する追加指標を提案する。 提案するロバスト性尺度を用いて,ロバスト性に対処するためにサブワード正則化を用いたモデル群に着目し,モデルの広範な評価を行う。 その結果,提案手法は,単語正規化手法を用いた場合の摂動に対するロバスト性向上の傾向を明らかにした。

関連論文リスト

• An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
  語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。 ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
  論文  参考訳（メタデータ） (2024-03-30T15:29:49Z)
• BLEURT Has Universal Translations: An Analysis of Automatic Metrics by Minimum Risk Training [64.37683359609308]
  本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。 BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。 詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
  論文  参考訳（メタデータ） (2023-07-06T16:59:30Z)
• Phrase-level Adversarial Example Generation for Neural Machine Translation [75.01476479100569]
  本稿では,句レベルの逆例生成(PAEG)手法を提案し,モデルの堅牢性を高める。 我々は,LDC中英語,IWSLT14ドイツ語-英語,WMT14英語-ドイツ語タスクの3つのベンチマークで検証を行った。
  論文  参考訳（メタデータ） (2022-01-06T11:00:49Z)
• Minimum Bayes Risk Decoding with Neural Metrics of Translation Quality [16.838064121696274]
  この作業は、翻訳品質の多様な自動メトリクスを最適化するために、最小ベイズリスクデコーディングを適用します。 実験により、神経翻訳モデルと神経基準に基づく計量であるBLEURTを組み合わせることで、自動評価と人的評価が大幅に改善されることが示されている。
  論文  参考訳（メタデータ） (2021-11-17T20:48:02Z)
• Attention Weights in Transformer NMT Fail Aligning Words Between Sequences but Largely Explain Model Predictions [0.0]
  NMTモデルは2つの文脈の予測における寄与を規制するために非形式的トークンに注意を向けることを示す。 本稿では,単語アライメントの誤り率を大幅に低減する手法を提案する。
  論文  参考訳（メタデータ） (2021-09-13T10:44:02Z)
• Evaluating the Robustness of Neural Language Models to Input Perturbations [7.064032374579076]
  本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。 本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。 その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
  論文  参考訳（メタデータ） (2021-08-27T12:31:17Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• On the Inference Calibration of Neural Machine Translation [54.48932804996506]
  校正と翻訳性能と誤校正の言語特性の相関について検討した。 そこで本研究では,推論キャリブレーションと翻訳性能を両立できる新しいラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2020-05-03T02:03:56Z)
• Metrics and methods for robustness evaluation of neural networks with generative models [0.07366405857677225]
  近年、特にコンピュータビジョンにおいて、研究者たちは回転、明るさの変化、より高レベルな変化などの「自然な」あるいは「意味的な」摂動を発見した。 本稿では,分類器の頑健度を自然な逆数例に測定するための指標と,それらの評価方法を提案する。
  論文  参考訳（メタデータ） (2020-03-04T10:58:59Z)
• Robust Unsupervised Neural Machine Translation with Adversarial Denoising Training [66.39561682517741]
  unsupervised neural machine translation (UNMT) は機械翻訳コミュニティに大きな関心を集めている。 UNMTの主な利点は、必要な大規模な訓練用テキストの簡単な収集にある。 本稿では,UNMT ベースのシステムのロバスト性を改善するため,まずノイズを考慮に入れた。
  論文  参考訳（メタデータ） (2020-02-28T05:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。