論文の概要: Viewing Knowledge Transfer in Multilingual Machine Translation Through a Representational Lens

• arxiv url: http://arxiv.org/abs/2305.11550v3
• Date: Mon, 4 Dec 2023 10:15:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 23:30:31.389107
• Title: Viewing Knowledge Transfer in Multilingual Machine Translation Through a Representational Lens
• Title（参考訳）: 表現レンズを用いた多言語機械翻訳における知識伝達
• Authors: David Stap, Vlad Niculae, Christof Monz
• Abstract要約: 本稿では,言語間の表現的類似度を測定するRepresentational Transfer potential (RTP)を紹介する。 RTPは正と負の両方の転送(干渉)を計測できることを示し、RTPは翻訳品質の変化と強く相関していることを示した。 我々は,言語間で表現をより不変にするための補助的類似性損失を用いた新しい学習手法を開発した。
• 参考スコア（独自算出の注目度）: 15.283483438956264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We argue that translation quality alone is not a sufficient metric for measuring knowledge transfer in multilingual neural machine translation. To support this claim, we introduce Representational Transfer Potential (RTP), which measures representational similarities between languages. We show that RTP can measure both positive and negative transfer (interference), and find that RTP is strongly correlated with changes in translation quality, indicating that transfer does occur. Furthermore, we investigate data and language characteristics that are relevant for transfer, and find that multi-parallel overlap is an important yet under-explored feature. Based on this, we develop a novel training scheme, which uses an auxiliary similarity loss that encourages representations to be more invariant across languages by taking advantage of multi-parallel data. We show that our method yields increased translation quality for low- and mid-resource languages across multiple data and model setups.
• Abstract（参考訳）: 翻訳品質だけでは多言語ニューラルマシン翻訳における知識伝達を測定するには十分ではない。 この主張を支持するために,言語間の表現的類似度を測定するRepresentational Transfer potential (RTP)を導入する。 本稿では,RTPが正と負の両方の転送(干渉)を計測できることを示し,RTPが翻訳品質の変化と強く相関していることを見出した。 さらに,転送に関連するデータや言語特性を調査し,マルチ並列重なりが重要ではあるが未検討の機能であることを見出す。 そこで我々は,複数並列データを活用することで,言語間での表現の不変性を向上する,補助的類似性損失を用いた新しい学習手法を開発した。 提案手法は,複数のデータおよびモデル設定にまたがる低級・中級言語における翻訳品質の向上を示す。

関連論文リスト

• Disentangling the Roles of Target-Side Transfer and Regularization in Multilingual Machine Translation [9.838281446902268]
  我々は2次元の補助的対象側言語を変化させる大規模研究を行う。 言語的に類似したターゲット言語は、肯定的な知識を伝達する強い能力を示す。 類似のターゲット言語のサイズが大きくなると、前向きな変換が強化され、主要な言語ペアにメリットがもたらされる。 一方、遠方の補助的対象言語は、最小限の正の転送能力を持ちながら、予期せずメイン言語ペアの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2024-02-01T10:55:03Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• Measuring Cross-Lingual Transferability of Multilingual Transformers on Sentence Classification [49.8111760092473]
  文分類タスクにおける多言語変換器のための言語間変換可能性指標IGapを提案する。 実験の結果,IGapは転送可能性測定と転送方向ランキングの基準値よりも優れていた。 その結果,多言語トランスフォーマーの理解を深める上で,言語間移動の3つの知見が得られた。
  論文  参考訳（メタデータ） (2023-05-15T17:05:45Z)
• DiTTO: A Feature Representation Imitation Approach for Improving Cross-Lingual Transfer [15.062937537799005]
  ゼロショット転送を改善するためのドメインとしての言語。 我々のアプローチであるDiTTOは、標準のゼロショット微調整法よりも大幅に優れていることを示す。 我々のモデルは、数ショット設定であっても、標準的な微調整法よりも言語間移動がより良くできる。
  論文  参考訳（メタデータ） (2023-03-04T08:42:50Z)
• Data-adaptive Transfer Learning for Translation: A Case Study in Haitian and Jamaican [4.4096464238164295]
  転送の有効性は,学習データ量と言語間の関係と相関していることを示す。 規則に基づくフランス・ハイチの正書法・構文エンジンと音韻埋め込みの新しい手法を提案する。 非常に低リソースのジャマイカ MT では、正書法的な類似性のためのコードスイッチングは 6.63 BLEU 点の優位性をもたらす。
  論文  参考訳（メタデータ） (2022-09-13T20:58:46Z)
• Multi-channel Transformers for Multi-articulatory Sign Language Translation [59.38247587308604]
  本稿では,多調な手話翻訳課題に取り組み,新しいマルチチャネルトランスフォーマアーキテクチャを提案する。 提案アーキテクチャにより、異なる手話調節間の文脈内関係をトランスフォーマネットワーク内でモデル化することができる。
  論文  参考訳（メタデータ） (2020-09-01T09:10:55Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)
• From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers [62.637055980148816]
  言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。 膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
  論文  参考訳（メタデータ） (2020-05-01T22:04:58Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。