論文の概要: Revisiting Robust Neural Machine Translation: A Transformer Case Study

• arxiv url: http://arxiv.org/abs/2012.15710v1
• Date: Thu, 31 Dec 2020 16:55:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:12:18.029096
• Title: Revisiting Robust Neural Machine Translation: A Transformer Case Study
• Title（参考訳）: ロバストなニューラルマシン翻訳の再検討:トランスフォーマーのケーススタディ
• Authors: Peyman Passban, Puneeth S.M. Saladi, Qun Liu
• Abstract要約: ノイズがトランスフォーマーを壊す方法や、そのような問題に対処する解決策があるかどうかについて検討する。 トレーニング中にノイズを組み込む新しいデータ駆動手法を提案する。 本稿では,ニューラルアーキテクチャを改良したトランスフォーマーと,ノイズに対処するトレーニングプロセスの2つの拡張を提案する。
• 参考スコア（独自算出の注目度）: 30.70732321809362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers (Vaswani et al., 2017) have brought a remarkable improvement in the performance of neural machine translation (NMT) systems, but they could be surprisingly vulnerable to noise. Accordingly, we tried to investigate how noise breaks Transformers and if there exist solutions to deal with such issues. There is a large body of work in the NMT literature on analyzing the behaviour of conventional models for the problem of noise but it seems Transformers are understudied in this context. Therefore, we introduce a novel data-driven technique to incorporate noise during training. This idea is comparable to the well-known fine-tuning strategy. Moreover, we propose two new extensions to the original Transformer, that modify the neural architecture as well as the training process to handle noise. We evaluated our techniques to translate the English--German pair in both directions. Experimental results show that our models have a higher tolerance to noise. More specifically, they perform with no deterioration where up to 10% of entire test words are infected by noise.
• Abstract（参考訳）: トランスフォーマー(Vaswani et al., 2017)は、ニューラルマシン翻訳(NMT)システムの性能を著しく向上させたが、ノイズに対して驚くほど脆弱である可能性がある。 そこで我々は、ノイズがトランスフォーマーを壊す方法と、そのような問題に対処する解決策が存在するかどうかを調査した。 nmt文献には、騒音問題に対する従来のモデルの挙動分析に関する多くの研究があるが、この文脈ではトランスフォーマーは未熟であるようである。 そこで本研究では,学習中にノイズを組み込む新しいデータ駆動手法を提案する。 この考え方は有名な微調整戦略に匹敵する。 さらに,ニューラルアーキテクチャを改良し,ノイズ処理のためのトレーニング処理を行う,オリジナルトランスの新たな拡張を2つ提案する。 両方向に英語とドイツ語のペアを翻訳する手法を評価した。 実験結果から,我々のモデルは耐雑音性が高いことがわかった。 より具体的には、テスト語全体の最大10%がノイズに感染している場合に、劣化なく機能する。

関連論文リスト

• Pivotal Auto-Encoder via Self-Normalizing ReLU [20.76999663290342]
  トランスフォーメーション学習問題として,単一の隠蔽層スパースオートエンコーダを定式化する。 本稿では,テスト時の騒音レベルに不変な予測モデルを実現する最適化問題を提案する。 実験結果から, 各種ノイズに対する安定性が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-06-23T09:06:52Z)
• Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
  ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。 NPCは検出モジュールと修正モジュールから構成される。 我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T08:27:14Z)
• Learning Provably Robust Estimators for Inverse Problems via Jittering [51.467236126126366]
  簡単な正規化手法であるジッタリングが,逆問題に対する最悪ケース頑健な推定器の学習に有効かどうかを検討する。 ジッタリングは最悪の場合のロバスト性を大幅に向上させるが,デノイング以上の逆問題に最適であることを示す。
  論文  参考訳（メタデータ） (2023-07-24T14:19:36Z)
• Walking Noise: On Layer-Specific Robustness of Neural Architectures against Noisy Computations and Associated Characteristic Learning Dynamics [1.5184189132709105]
  本稿では,異なる分類タスクとモデルアーキテクチャに対する加法的,乗法的,混合ノイズの影響について論じる。 本研究では,ロバスト性を測定するため,層固有のノイズを注入するウォーキングノイズ法を提案する。 我々は,この方法論の実践的利用に関する議論をまとめ,ノイズの多い環境での適応型マルチエグゼクティブの活用について論じる。
  論文  参考訳（メタデータ） (2022-12-20T17:09:08Z)
• Phrase-level Adversarial Example Generation for Neural Machine Translation [75.01476479100569]
  本稿では,句レベルの逆例生成(PAEG)手法を提案し,モデルの堅牢性を高める。 我々は,LDC中英語,IWSLT14ドイツ語-英語,WMT14英語-ドイツ語タスクの3つのベンチマークで検証を行った。
  論文  参考訳（メタデータ） (2022-01-06T11:00:49Z)
• Efficient Training of Audio Transformers with Patchout [7.073210405344709]
  音声スペクトログラム上での変換器の最適化と正規化を行う新しい手法を提案する。 提案したモデルは、Audioset上で新しい最先端のパフォーマンスを実現し、単一のコンシューマグレードGPUでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-10-11T08:07:50Z)
• Rethinking Noise Synthesis and Modeling in Raw Denoising [75.55136662685341]
  センサの実際の雑音を直接サンプリングすることで、ノイズを合成する新しい視点を導入する。 それは本質的に、異なるカメラセンサーに対して正確な生画像ノイズを発生させる。
  論文  参考訳（メタデータ） (2021-10-10T10:45:24Z)
• Addressing the Vulnerability of NMT in Input Perturbations [10.103375853643547]
  文脈拡張再構成手法により,雑音のある単語の効果を低減し,NMTモデルのロバスト性を向上させる。 CERは、(1)入力シーケンスの自然性を判断するステップ、(2)より優れた、より堅牢な文脈表現を生成することで、ノイズ伝搬を防御するステップの2つのステップで、ノイズに抵抗するモデルを訓練する。
  論文  参考訳（メタデータ） (2021-04-20T07:52:58Z)
• What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure [64.54208910952651]
  オーディオトランスフォーマーモデル mockingjay と wave2vec2.0 を比較した。 音声モデルのテキスト表面、構文、および意味的特徴に対する理解を調査します。 ネイティブ、非ネイティブ、合成、読み取り、自発的な音声データセットの完全な設定でこれを行います。
  論文  参考訳（メタデータ） (2021-01-02T06:29:12Z)
• Robust Unsupervised Neural Machine Translation with Adversarial Denoising Training [66.39561682517741]
  unsupervised neural machine translation (UNMT) は機械翻訳コミュニティに大きな関心を集めている。 UNMTの主な利点は、必要な大規模な訓練用テキストの簡単な収集にある。 本稿では,UNMT ベースのシステムのロバスト性を改善するため,まずノイズを考慮に入れた。
  論文  参考訳（メタデータ） (2020-02-28T05:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。