論文の概要: Improving Zero-Shot Translation by Disentangling Positional Information

• arxiv url: http://arxiv.org/abs/2012.15127v1
• Date: Wed, 30 Dec 2020 12:20:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 06:01:32.820451
• Title: Improving Zero-Shot Translation by Disentangling Positional Information
• Title（参考訳）: 位置情報分離によるゼロショット翻訳の改善
• Authors: Danni Liu, Jan Niehues, James Cross, Francisco Guzm\'an, Xian Li
• Abstract要約: 言語固有の表現を引き起こす主な要因は、入力トークンに対する位置対応であることを示す。 指示方向の品質を維持しながら、ゼロショット翻訳で最大18.5 BLEUポイントを得る。
• 参考スコア（独自算出の注目度）: 24.02434897109097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual neural machine translation has shown the capability of directly translating between language pairs unseen in training, i.e. zero-shot translation. Despite being conceptually attractive, it often suffers from low output quality. The difficulty of generalizing to new translation directions suggests the model representations are highly specific to those language pairs seen in training. We demonstrate that a main factor causing the language-specific representations is the positional correspondence to input tokens. We show that this can be easily alleviated by removing residual connections in an encoder layer. With this modification, we gain up to 18.5 BLEU points on zero-shot translation while retaining quality on supervised directions. The improvements are particularly prominent between related languages, where our proposed model outperforms pivot-based translation. Moreover, our approach allows easy integration of new languages, which substantially expands translation coverage. By thorough inspections of the hidden layer outputs, we show that our approach indeed leads to more language-independent representations.
• Abstract（参考訳）: 多言語ニューラルマシン翻訳は、トレーニングで見えない言語ペア間で直接翻訳する能力を示している。 ゼロショット翻訳。 概念的には魅力的だが、しばしば低い出力品質に悩まされる。 新しい翻訳方向への一般化の難しさは、モデル表現が訓練で見られる言語対に非常に特有であることを示している。 言語固有の表現を引き起こす主な要因が入力トークンの位置対応であることを示す。 エンコーダ層の残余接続をなくすことで,これを容易に緩和できることを示す。 この修正により、教師付き方向の品質を維持しながら、ゼロショット翻訳で最大18.5 BLEUポイントを得ることができる。 提案したモデルがピボットベースの翻訳より優れている関連言語間では特に改善が顕著である。 さらに,このアプローチでは,翻訳範囲を大きく拡大する新しい言語の統合が容易になる。 隠れた層出力の徹底的な検査により、我々のアプローチが言語に依存しない表現につながることを示す。

関連論文リスト

• Languages Transferred Within the Encoder: On Representation Transfer in Zero-Shot Multilingual Translation [16.368747052909214]
  多言語調査における基本尺度の欠如に対処するため,自己翻訳文であるアイデンティティペアを導入する。 エンコーダは、言語に依存しない状態ではなく、対象言語の表現部分空間にソース言語を転送することを示した。 本研究では,1)エンコーダにおける低ランク言語固有の埋め込みと,2)デコーダにおける表現の言語固有のコントラスト学習の2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-06-12T11:16:30Z)
• On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
  識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。 多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。 我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T12:43:31Z)
• Adapting to Non-Centered Languages for Zero-shot Multilingual Translation [12.487990897680422]
  我々は,非中心言語に適応して,シンプルで軽量で効果的な言語特化モデリング手法を提案する。 IWSLT17, Europarl, TED Talk, OPUS-100 データセットの Transformer を用いた実験により, 本手法が非中心データ条件に容易に適合できることが判明した。
  論文  参考訳（メタデータ） (2022-09-09T06:34:12Z)
• How Robust is Neural Machine Translation to Language Imbalance in Multilingual Tokenizer Training? [86.48323488619629]
  トークン化学習コーパスにおいて,言語間でのデータ比が変化するにつれて,翻訳性能がどう変化するかを分析する。 言語が均等にサンプリングされる場合、比較的優れたパフォーマンスが観察されることが多いが、下流のパフォーマンスは、通常予想していたよりも、言語の不均衡に対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-29T17:50:36Z)
• DEEP: DEnoising Entity Pre-training for Neural Machine Translation [123.6686940355937]
  機械翻訳モデルは通常、トレーニングコーパスで稀な名前付きエンティティの翻訳を貧弱に生成することが示されている。 文中の名前付きエンティティ翻訳精度を向上させるために,大量のモノリンガルデータと知識ベースを利用するDenoising Entity Pre-training法であるDEEPを提案する。
  論文  参考訳（メタデータ） (2021-11-14T17:28:09Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Rethinking Zero-shot Neural Machine Translation: From a Perspective of Latent Variables [28.101782382170306]
  従来の訓練対象にピボット言語に基づく自動エンコーダ目標を導入し,ゼロショット方向の翻訳精度を向上させる。 提案手法は, 突発的相関を効果的に排除し, 顕著な性能で最先端の手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-10T07:18:53Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。