論文の概要: Beyond Noise: Mitigating the Impact of Fine-grained Semantic Divergences on Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2105.15087v1
• Date: Mon, 31 May 2021 16:15:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 19:55:31.834681
• Title: Beyond Noise: Mitigating the Impact of Fine-grained Semantic Divergences on Neural Machine Translation
• Title（参考訳）: beyond noise: 神経機械翻訳におけるきめ細かな意味的多様性の影響の緩和
• Authors: Eleftheria Briakou and Marine Carpuat
• Abstract要約: 本研究は,トランスフォーマーモデルにおける様々な種類の細粒度セマンティックな違いの影響を解析する。 自然に発生する発散による劣化からNMTが回復するのに役立つ因子を用いた発散型NMTフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.645468999921961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While it has been shown that Neural Machine Translation (NMT) is highly sensitive to noisy parallel training samples, prior work treats all types of mismatches between source and target as noise. As a result, it remains unclear how samples that are mostly equivalent but contain a small number of semantically divergent tokens impact NMT training. To close this gap, we analyze the impact of different types of fine-grained semantic divergences on Transformer models. We show that models trained on synthetic divergences output degenerated text more frequently and are less confident in their predictions. Based on these findings, we introduce a divergent-aware NMT framework that uses factors to help NMT recover from the degradation caused by naturally occurring divergences, improving both translation quality and model calibration on EN-FR tasks.
• Abstract（参考訳）: ニューラルマシン翻訳(NMT)は、ノイズの多い並列トレーニングサンプルに非常に敏感であることが示されているが、以前の作業では、ソースとターゲットのあらゆるタイプのミスマッチをノイズとして扱う。 その結果、ほとんど等価だが少数の意味的に異なるトークンを含むサンプルがnmtトレーニングにどのように影響するかは、まだ不明である。 このギャップを埋めるために、トランスフォーマーモデルに対する様々な種類の細粒度意味分岐の影響を分析する。 合成発散に基づく学習モデルでは、より頻繁にテキストが生成され、予測に自信がないことを示す。 そこで本研究では,自然発生の発散による劣化からNMTが回復する要因を生かし,EN-FRタスクにおける翻訳品質とモデル校正の両面を改善した分散対応NMTフレームワークを提案する。

関連論文リスト

• Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning [24.64700139151659]
  現在のニューラル機械翻訳(NMT)システムは信頼性の欠如に悩まされている。 本稿では,モデルに依存しないメタラーニング(MAML)アルゴリズムをベースとした,一貫性を考慮したメタラーニング(CAML)フレームワークを提案する。 我々は、NIST中国語から英語へのタスク、3つのWMT翻訳タスク、TED M2Oタスクについて実験を行った。
  論文  参考訳（メタデータ） (2023-03-20T09:41:28Z)
• TransFool: An Adversarial Attack against Neural Machine Translation Models [49.50163349643615]
  敵攻撃に対するニューラルネットワーク翻訳(NMT)モデルの脆弱性を調査し,TransFoolと呼ばれる新たな攻撃アルゴリズムを提案する。 クリーンなサンプルと高いレベルのセマンティックな類似性を保ったソースコード言語で、流動的な逆の例を生成する。 自動的および人的評価に基づいて、TransFoolは、既存の攻撃と比較して成功率、意味的類似性、流布率の改善につながる。
  論文  参考訳（メタデータ） (2023-02-02T08:35:34Z)
• Categorizing Semantic Representations for Neural Machine Translation [53.88794787958174]
  ソースの文脈化表現に分類を導入する。 主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。 MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-13T04:07:08Z)
• Generating Authentic Adversarial Examples beyond Meaning-preserving with Doubly Round-trip Translation [64.16077929617119]
  二重ラウンド・トリップ翻訳(DRTT)に基づくNMT逆例の新しい基準を提案する。 NMTモデルの堅牢性を高めるため,両言語対を構築するためのマスキング言語モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-19T06:15:27Z)
• Doubly-Trained Adversarial Data Augmentation for Neural Machine Translation [8.822338727711715]
  我々は、モデルに攻撃を与え、ソース側の意味を保存できる敵の強化サンプルを生成する。 実験の結果,これらの逆方向のサンプルはモデルの堅牢性を向上させることがわかった。
  論文  参考訳（メタデータ） (2021-10-12T02:23:00Z)
• Alternated Training with Synthetic and Authentic Data for Neural Machine Translation [49.35605028467887]
  ニューラルマシン翻訳(NMT)のための合成および認証データを用いた交互トレーニングを提案する。 従来の研究と比較して,ノイズの多い合成データによってNMTモデルのトレーニングが妨げられるのを防止するためのガイダンスとして,認証データを導入している。 中国語・ドイツ語・英語の翻訳タスクの実験は、我々のアプローチがいくつかの強いベースラインにまたがって性能を向上させることを示している。
  論文  参考訳（メタデータ） (2021-06-16T07:13:16Z)
• On Long-Tailed Phenomena in Neural Machine Translation [50.65273145888896]
  最先端のニューラルネットワーク翻訳(NMT)モデルは、低周波トークンの生成に苦労する。 条件付きテキスト生成における構造的依存関係にモデルトレーニングを適応させるために,新たな損失関数である反焦点損失を提案する。 提案手法は,複数の機械翻訳(MT)データセットに対して有効であり,クロスエントロピーよりも顕著に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-10T07:00:57Z)
• Uncertainty-Aware Semantic Augmentation for Neural Machine Translation [37.555675157198145]
  本稿では,複数の意味的に等価なソース文間の普遍的な意味情報を明示的にキャプチャする不確実性を考慮した意味拡張を提案する。 我々のアプローチは、強いベースラインと既存の手法を大きく上回る。
  論文  参考訳（メタデータ） (2020-10-09T07:48:09Z)
• The Unreasonable Volatility of Neural Machine Translation Models [5.44772285850031]
  入力が意味的かつ構文的に正しいNMTモデルの予期せぬボラティリティについて検討する。 RNNモデルとTransformerモデルでは,それぞれ26%と19%の文変動が揮発性を示すことがわかった。
  論文  参考訳（メタデータ） (2020-05-25T20:54:23Z)
• On the Inference Calibration of Neural Machine Translation [54.48932804996506]
  校正と翻訳性能と誤校正の言語特性の相関について検討した。 そこで本研究では,推論キャリブレーションと翻訳性能を両立できる新しいラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2020-05-03T02:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。