論文の概要: Beyond Shared Vocabulary: Increasing Representational Word Similarities across Languages for Multilingual Machine Translation

• arxiv url: http://arxiv.org/abs/2305.14189v3
• Date: Sat, 20 Jan 2024 22:29:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 21:51:22.195097
• Title: Beyond Shared Vocabulary: Increasing Representational Word Similarities across Languages for Multilingual Machine Translation
• Title（参考訳）: 共有語彙を超えて:多言語機械翻訳のための言語間の表現的単語類似性の向上
• Authors: Di Wu and Christof Monz
• Abstract要約: 本稿では,単語等価クラスによる単語レベルの情報伝達経路を定義し,言語間の単語埋め込みを融合するグラフネットワークに依存する。 1) 類似した意味を持つ単語の埋め込みは言語間で整合性がよいこと,2) 提案手法は高・低リソースのMNMTに対して最大2.3ポイントのBLEU改善を実現すること,3) 計算コストの制限により1.0%未満のトレーニング可能なパラメータを必要とすること,である。
• 参考スコア（独自算出の注目度）: 9.794506112999823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using a vocabulary that is shared across languages is common practice in Multilingual Neural Machine Translation (MNMT). In addition to its simple design, shared tokens play an important role in positive knowledge transfer, assuming that shared tokens refer to similar meanings across languages. However, when word overlap is small, especially due to different writing systems, transfer is inhibited. In this paper, we define word-level information transfer pathways via word equivalence classes and rely on graph networks to fuse word embeddings across languages. Our experiments demonstrate the advantages of our approach: 1) embeddings of words with similar meanings are better aligned across languages, 2) our method achieves consistent BLEU improvements of up to 2.3 points for high- and low-resource MNMT, and 3) less than 1.0\% additional trainable parameters are required with a limited increase in computational costs, while inference time remains identical to the baseline. We release the codebase to the community.
• Abstract（参考訳）: 言語間で共有される語彙の使用は、MNMT(Multilingual Neural Machine Translation)において一般的な慣習である。 その単純な設計に加えて、共有トークンは言語間の類似の意味を参照していると仮定して、ポジティブな知識伝達において重要な役割を果たす。 しかし、単語重なりが小さい場合、特に異なる書き体系のため、転送が抑制される。 本稿では,単語等価クラスによる単語レベルの情報伝達経路を定義し,言語間の単語埋め込みを融合するグラフネットワークに依存する。 我々の実験は我々のアプローチの利点を示しています 1)類似した意味を持つ単語の埋め込みは、言語間で整合性がよい。 2) 高速・低出力MNMTにおいて, BLEUを最大2.3ポイントまで一貫した改善を実現する。 3) 計算コストが制限された場合,1.0 %未満のトレーニング可能なパラメータが要求される一方で,推論時間はベースラインと同一である。 コードベースをコミュニティにリリースします。

関連論文リスト

• Enhancing Cross-lingual Transfer via Phonemic Transcription Integration [57.109031654219294]
  PhoneXLは、音素転写を言語間移動のための追加のモダリティとして組み込んだフレームワークである。 本研究は, 音素転写が, 言語間移動を促進するために, 正書法以外の重要な情報を提供することを示すものである。
  論文  参考訳（メタデータ） (2023-07-10T06:17:33Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• Syntax-augmented Multilingual BERT for Cross-lingual Transfer [37.99210035238424]
  この研究は、言語構文とトレーニングmBERTを明示的に提供することが、言語間転送に役立つことを示している。 実験の結果,mBERTの構文拡張は,一般的なベンチマーク上での言語間移動を改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-03T21:12:50Z)
• Improving Multilingual Neural Machine Translation For Low-Resource Languages: French-, English- Vietnamese [4.103253352106816]
  本稿では,多言語mtシステムにおける希少な単語問題に対処するための2つの単純な戦略を提案する。 両言語対のバイリンガルベースラインシステムに対して,+1.62と+2.54のBLEU点が大幅に改善された。
  論文  参考訳（メタデータ） (2020-12-16T04:43:43Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)
• Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
  本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。 提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。 また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
  論文  参考訳（メタデータ） (2019-12-28T16:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。