論文の概要: Languages Transferred Within the Encoder: On Representation Transfer in Zero-Shot Multilingual Translation

• arxiv url: http://arxiv.org/abs/2406.08092v2
• Date: Tue, 08 Apr 2025 03:39:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:26:37.244524
• Title: Languages Transferred Within the Encoder: On Representation Transfer in Zero-Shot Multilingual Translation
• Title（参考訳）: エンコーダ内で伝達される言語:ゼロショット多言語翻訳における表現伝達について
• Authors: Zhi Qu, Chenchen Ding, Taro Watanabe,
• Abstract要約: 多言語ニューラルネットワーク翻訳(MNMT)における表現伝達を理解することは、ゼロショット翻訳不足の原因を明らかにすることができる。 エンコーダは、言語に依存しない状態ではなく、対象言語の表現部分空間にソース言語を転送する。 本研究では,1)エンコーダにおける低ランク言語固有の埋め込みと,2)デコーダにおける表現の言語固有のコントラスト学習の2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 16.368747052909214
• License:
• Abstract: Understanding representation transfer in multilingual neural machine translation (MNMT) can reveal the reason for the zero-shot translation deficiency. In this work, we systematically analyze the representational issue of MNMT models. We first introduce the identity pair, translating a sentence to itself, to address the lack of the base measure in multilingual investigations, as the identity pair can reflect the representation of a language within the model. Then, we demonstrate that the encoder transfers the source language to the representational subspace of the target language instead of the language-agnostic state. Thus, the zero-shot translation deficiency arises because the representation of a translation is entangled with other languages and not transferred to the target language effectively. Based on our findings, we propose two methods: 1) low-rank language-specific embedding at the encoder, and 2) language-specific contrastive learning of the representation at the decoder. The experimental results on Europarl-15, TED-19, and OPUS-100 datasets show that our methods substantially enhance the performance of zero-shot translations without sacrifices in supervised directions by improving language transfer capacity, thereby providing practical evidence to support our conclusions. Codes are available at https://github.com/zhiqu22/ZeroTrans.
• Abstract（参考訳）: 多言語ニューラルネットワーク翻訳(MNMT)における表現伝達を理解することは、ゼロショット翻訳不足の原因を明らかにすることができる。 本研究では,MNMTモデルの表現問題を系統的に解析する。 まず,単語を自身に翻訳するアイデンティティペアを導入し,モデル内の言語表現を反映できるため,多言語調査における基本尺度の欠如に対処する。 次に,エンコーダが言語に依存しない状態ではなく,対象言語の表現部分空間にソース言語を転送することを示す。 したがって、ゼロショット翻訳不足は、翻訳の表現が他言語と絡み合っており、ターゲット言語に効果的に変換されないために生じる。 そこで本研究では,2つの方法を提案する。 1)エンコーダにおける低ランク言語固有の埋め込み 2)デコーダにおける表現の言語固有のコントラスト学習。 Europarl-15,TED-19,OPUS-100データセットによる実験結果から,言語伝達能力の向上による教師あり方向の犠牲を伴わずに,ゼロショット翻訳の性能を大幅に向上させることが示され,その結果を裏付ける実用的な証拠が得られた。 コードはhttps://github.com/zhiqu22/ZeroTransで入手できる。

関連論文リスト

• Improving Language Transfer Capability of Decoder-only Architecture in Multilingual Neural Machine Translation [28.07831604833682]
  本稿では,デコーダのみのアーキテクチャと言語伝達能力の欠如について検討する。 本稿では,デコード処理を2段階に分割し,第1段階においてターゲットトークンを明示的に除外することを提案する。 我々は、翻訳命令に対照的な学習を課し、ゼロショット翻訳の性能を改善した。
  論文  参考訳（メタデータ） (2024-12-03T02:52:14Z)
• Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages [55.157295899188476]
  ニューラルマシン翻訳システムは、異なる言語の文を共通の表現空間にマッピングすることを学ぶ。 本研究では、この仮説を未知の言語からのゼロショット翻訳により検証する。 この設定により、全く見えない言語からのゼロショット翻訳が可能になることを実証する。
  論文  参考訳（メタデータ） (2024-08-05T07:58:58Z)
• Improving Multilingual Neural Machine Translation by Utilizing Semantic and Linguistic Features [18.76505158652759]
  複数の言語間の意味的特徴と言語的特徴を利用して多言語翻訳を強化することを提案する。 エンコーダ側では,意味的特徴と言語的特徴を両立させることにより,エンコーダ表現を整合させる非係合学習タスクを導入する。 デコーダ側では、言語エンコーダを利用して低レベル言語機能を統合し、ターゲット言語生成を支援する。
  論文  参考訳（メタデータ） (2024-08-02T17:10:12Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• Informative Language Representation Learning for Massively Multilingual Neural Machine Translation [47.19129812325682]
  多言語ニューラルマシン翻訳モデルでは、通常、人工言語トークンを使用して、所望のターゲット言語への翻訳をガイドする。 近年の研究では、先行する言語トークンは、多言語ニューラルマシン翻訳モデルから正しい翻訳方向へのナビゲートに失敗することがある。 本稿では,言語埋め込み型エンボディメントと言語認識型マルチヘッドアテンションという2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-09-04T04:27:17Z)
• Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
  7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。 英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。 このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
  論文  参考訳（メタデータ） (2021-04-15T16:08:43Z)
• Improving Zero-Shot Translation by Disentangling Positional Information [24.02434897109097]
  言語固有の表現を引き起こす主な要因は、入力トークンに対する位置対応であることを示す。 指示方向の品質を維持しながら、ゼロショット翻訳で最大18.5 BLEUポイントを得る。
  論文  参考訳（メタデータ） (2020-12-30T12:20:41Z)
• From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers [62.637055980148816]
  言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。 膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
  論文  参考訳（メタデータ） (2020-05-01T22:04:58Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。