論文の概要: Progressive Translation: Improving Domain Robustness of Neural Machine Translation with Intermediate Sequences

• arxiv url: http://arxiv.org/abs/2305.09154v1
• Date: Tue, 16 May 2023 04:15:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 16:24:39.683547
• Title: Progressive Translation: Improving Domain Robustness of Neural Machine Translation with Intermediate Sequences
• Title（参考訳）: プログレッシブ翻訳:中間配列によるニューラルマシン翻訳のドメインロバスト性の向上
• Authors: Chaojun Wang, Yang Liu, Wai Lam
• Abstract要約: そこで我々は,「ソースライク」構造から「ターゲットライク」構造への中間系列である中間信号を提案する。 このような中間列は、ドメインに依存しない翻訳の原理を反映する帰納的バイアスをもたらす。 実験により、導入した中間信号はNTTの領域堅牢性を効果的に向上できることが示された。
• 参考スコア（独自算出の注目度）: 37.71415679778235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous studies show that intermediate supervision signals benefit various Natural Language Processing tasks. However, it is not clear whether there exist intermediate signals that benefit Neural Machine Translation (NMT). Borrowing techniques from Statistical Machine Translation, we propose intermediate signals which are intermediate sequences from the "source-like" structure to the "target-like" structure. Such intermediate sequences introduce an inductive bias that reflects a domain-agnostic principle of translation, which reduces spurious correlations that are harmful to out-of-domain generalisation. Furthermore, we introduce a full-permutation multi-task learning to alleviate the spurious causal relations from intermediate sequences to the target, which results from exposure bias. The Minimum Bayes Risk decoding algorithm is used to pick the best candidate translation from all permutations to further improve the performance. Experiments show that the introduced intermediate signals can effectively improve the domain robustness of NMT and reduces the amount of hallucinations on out-of-domain translation. Further analysis shows that our methods are especially promising in low-resource scenarios.
• Abstract（参考訳）: 先行研究では、中間監督信号は様々な自然言語処理タスクに有用であることが示されている。 しかし、ニューラルマシン翻訳(nmt)に役立つ中間信号が存在するかどうかは明らかではない。 統計的機械翻訳の手法を引用し,「ソースライク」構造から「ターゲットライク」構造への中間系列である中間信号を提案する。 このような中間列は、ドメインに依存しない翻訳の原理を反映する帰納的バイアスを導入し、ドメイン外一般化に有害な急激な相関を減少させる。 さらに, 多変量多タスク学習により, 中間列から目標への散発的因果関係を緩和し, 被曝バイアスを解消する。 最小ベイズリスク復号アルゴリズムは、全ての置換から最適な翻訳候補を選び、さらに性能を向上させるために用いられる。 実験により,導入した中間信号はnmtの領域ロバスト性を効果的に改善し,領域外翻訳における幻覚量を低減できることを示した。 特に低リソースシナリオでは,本手法が有望であることを示す。

関連論文リスト

• Non-Parametric Domain Adaptation for End-to-End Speech Translation [72.37869362559212]
  E2E-ST(End-to-End Speech Translation)は、エラー伝播の低減、レイテンシの低減、パラメータの削減などにより注目されている。 本稿では,E2E-STシステムのドメイン適応を実現するために,ドメイン固有のテキスト翻訳コーパスを活用する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:41:02Z)
• Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation [48.50842995206353]
  本研究は,Seq2Seqプレトレーニングと従来のエンコーダによるNMTの事前トレーニングとの主な違いである,共同事前学習デコーダの影響について検討する。 我々は、ドメインと目的の相違を緩和するために、ドメイン内の事前訓練と入力適応という、シンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-16T07:36:28Z)
• Phrase-level Adversarial Example Generation for Neural Machine Translation [75.01476479100569]
  本稿では,句レベルの逆例生成(PAEG)手法を提案し,モデルの堅牢性を高める。 我々は,LDC中英語,IWSLT14ドイツ語-英語,WMT14英語-ドイツ語タスクの3つのベンチマークで検証を行った。
  論文  参考訳（メタデータ） (2022-01-06T11:00:49Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)
• Uncertainty-Aware Semantic Augmentation for Neural Machine Translation [37.555675157198145]
  本稿では,複数の意味的に等価なソース文間の普遍的な意味情報を明示的にキャプチャする不確実性を考慮した意味拡張を提案する。 我々のアプローチは、強いベースラインと既存の手法を大きく上回る。
  論文  参考訳（メタデータ） (2020-10-09T07:48:09Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)
• Study of Diffusion Normalized Least Mean M-estimate Algorithms [0.8749675983608171]
  本研究では,修正ハマー関数に基づく拡散正規化最小平均M推定アルゴリズムを提案する。 我々は,アルゴリズムの過渡的,定常的,安定的な挙動を統一的なフレームワークで解析する。 様々なインパルスノイズシナリオのシミュレーションでは、提案アルゴリズムは既存の拡散アルゴリズムよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2020-04-20T00:28:41Z)
• Robust Unsupervised Neural Machine Translation with Adversarial Denoising Training [66.39561682517741]
  unsupervised neural machine translation (UNMT) は機械翻訳コミュニティに大きな関心を集めている。 UNMTの主な利点は、必要な大規模な訓練用テキストの簡単な収集にある。 本稿では,UNMT ベースのシステムのロバスト性を改善するため,まずノイズを考慮に入れた。
  論文  参考訳（メタデータ） (2020-02-28T05:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。