論文の概要: Crosslingual Embeddings are Essential in UNMT for Distant Languages: An
English to IndoAryan Case Study
- arxiv url: http://arxiv.org/abs/2106.04995v1
- Date: Wed, 9 Jun 2021 11:31:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 15:27:20.964345
- Title: Crosslingual Embeddings are Essential in UNMT for Distant Languages: An
English to IndoAryan Case Study
- Title（参考訳）: 遠隔言語のためのunmtにおいて言語間埋め込みは必須である:英語からインドール語への事例研究
- Authors: Tamali Banerjee, Rudra Murthy V, Pushpak Bhattacharyya
- Abstract要約: 言語間埋め込みによるUNMTモデルの埋め込み層の初期化は,既存の手法よりもBLEUスコアが大幅に向上したことを示す。
提案手法は,MASS (Masked Sequence to Sequence) とDAE (Denoising Autoencoder) UNMT (Denoising Autoencoder) UNMT) を用いて実験を行った。
- 参考スコア（独自算出の注目度）: 28.409618457653135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Unsupervised Neural Machine Translation (UNMT) have
minimized the gap between supervised and unsupervised machine translation
performance for closely related language pairs. However, the situation is very
different for distant language pairs. Lack of lexical overlap and low syntactic
similarities such as between English and Indo-Aryan languages leads to poor
translation quality in existing UNMT systems. In this paper, we show that
initializing the embedding layer of UNMT models with cross-lingual embeddings
shows significant improvements in BLEU score over existing approaches with
embeddings randomly initialized. Further, static embeddings (freezing the
embedding layer weights) lead to better gains compared to updating the
embedding layer weights during training (non-static). We experimented using
Masked Sequence to Sequence (MASS) and Denoising Autoencoder (DAE) UNMT
approaches for three distant language pairs. The proposed cross-lingual
embedding initialization yields BLEU score improvement of as much as ten times
over the baseline for English-Hindi, English-Bengali, and English-Gujarati. Our
analysis shows the importance of cross-lingual embedding, comparisons between
approaches, and the scope of improvements in these systems.
- Abstract（参考訳）: 教師なしニューラルネットワーク翻訳(UNMT)の最近の進歩は、教師なしと教師なしの機械翻訳性能のギャップを最小化している。
しかし、遠方の言語ペアでは状況は大きく異なる。
語彙重複の欠如と英語とインド・アーリア語間の構文類似性の低さは、既存のUNMTシステムでは翻訳品質の低下につながる。
本稿では,unmtモデルの埋め込み層を言語間埋め込みで初期化すると,ランダムに初期化する既存のアプローチに比べてbleuスコアが大幅に向上することを示す。
さらに、静的な埋め込み(埋め込み層重みを凍結する)は、トレーニング中の埋め込み層重みを更新する(非静的)よりも向上する。
3つの言語ペアに対してマスキングシーケンストシーケンス(mass)とデノージングオートエンコーダ(dae)unmtアプローチを用いて実験を行った。
提案されている言語間埋め込み初期化は、英語-ヒンディー語、英語-ベンガル語、英語-グジャラーティのベースラインよりも最大10倍の改善をもたらす。
本分析は, 言語間埋め込みの重要性, アプローチの比較, システムの改善範囲について述べる。
関連論文リスト
- LANDeRMT: Detecting and Routing Language-Aware Neurons for Selectively Finetuning LLMs to Machine Translation [43.26446958873554]
大規模言語モデル(LLM)は,バイリンガルの監督が限られているにもかかわらず,多言語翻訳において有望な結果を示している。
大規模言語モデル(LLM)の最近の進歩は,バイリンガルの監督が限定された場合でも,多言語翻訳において有望な結果を示している。
LandeRMT は LLM を textbfMachine textbfTranslation に選択的に微調整するフレームワークである。
論文 参考訳（メタデータ） (2024-09-29T02:39:42Z) - Probing the Emergence of Cross-lingual Alignment during LLM Training [10.053333786023089]
多言語大言語モデル(LLM)は、ゼロショットの多言語間転送性能を著しく向上させる。
本研究では,LLMの事前学習において,このような言語間アライメントがどのように出現するかを検討する。
ニューロンの重なり合いと下流性能の相関関係を観察する。
論文 参考訳（メタデータ） (2024-06-19T05:31:59Z) - Extending Multilingual Machine Translation through Imitation Learning [60.15671816513614]
Imit-MNMTは、タスクを専門家の行動を模倣する模倣学習プロセスとして扱う。
提案手法は,新言語と原言語の翻訳性能を大幅に向上させることを示す。
我々はまた、我々のアプローチがコピーとオフターゲットの問題を解決することができることを示した。
論文 参考訳（メタデータ） (2023-11-14T21:04:03Z) - Towards Effective Disambiguation for Machine Translation with Large
Language Models [65.80775710657672]
我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。
実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
論文 参考訳（メタデータ） (2023-09-20T22:22:52Z) - VECO 2.0: Cross-lingual Language Model Pre-training with
Multi-granularity Contrastive Learning [56.47303426167584]
複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。
具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。
トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
論文 参考訳（メタデータ） (2023-04-17T12:23:41Z) - Denoising-based UNMT is more robust to word-order divergence than
MASS-based UNMT [27.85834441076481]
自己教師付き事前学習によるUNMTアプローチが、言語ペア間の単語順序のばらつきに頑健であるかどうかを検討する。
事前学習された2つのモデルと,同じ自己指導型事前学習目標を比較した。
我々は,DAEに基づくUNMTアプローチが翻訳精度においてMASSより一貫して優れていることを観察した。
論文 参考訳（メタデータ） (2023-03-02T12:11:58Z) - Revamping Multilingual Agreement Bidirectionally via Switched
Back-translation for Multilingual Neural Machine Translation [107.83158521848372]
マルチリンガル・コンセンサス(MA)は、マルチリンガル・ニューラル・マシン翻訳(MNMT)の重要性を示した
textbfBidirectional textbfMultilingual textbfAgreement via textbfSwitched textbfBack-textbftranslation (textbfBMA-SBT)
これは、訓練済みのMNMTモデルを微調整するための、新規で普遍的な多言語合意フレームワークである。
論文 参考訳（メタデータ） (2022-09-28T09:14:58Z) - Non-Autoregressive Neural Machine Translation: A Call for Clarity [3.1447111126465]
我々は、非自己回帰的翻訳モデルを改善するために提案されたいくつかの手法を再検討する。
我々は,長文予測やCTCに基づくアーキテクチャ変種を用いて,強力なベースラインを確立するための新たな洞察を提供する。
4つの翻訳タスクに対してsareBLEUを用いて,標準化されたBLEU,chrF++,TERスコアをコントリビュートする。
論文 参考訳（メタデータ） (2022-05-21T12:15:22Z) - Improving Multilingual Translation by Representation and Gradient
Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。
提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文 参考訳（メタデータ） (2021-09-10T10:52:21Z) - Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。
我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。
ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
論文 参考訳（メタデータ） (2021-07-23T17:11:27Z) - Improving the Lexical Ability of Pretrained Language Models for
Unsupervised Neural Machine Translation [127.81351683335143]
クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。
これまでの研究では、これは表現が十分に整合していないためです。
本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
論文 参考訳（メタデータ） (2021-03-18T21:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。