論文の概要: OmniKnight: Multilingual Neural Machine Translation with
Language-Specific Self-Distillation
- arxiv url: http://arxiv.org/abs/2205.01620v1
- Date: Tue, 3 May 2022 16:57:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-04 14:19:25.728693
- Title: OmniKnight: Multilingual Neural Machine Translation with
Language-Specific Self-Distillation
- Title(参考訳): OmniKnight:言語特異的自己蒸留を用いた多言語ニューラルマシン翻訳
- Authors: Yichong Huang and Xiaocheng Feng and Xinwei Geng and Bing Qin
- Abstract要約: 本稿では,言語固有の最良チェックポイントと総合的最良チェックポイントのギャップを埋めるための,Language-Specific Self-Distillation (LSSD) と呼ばれる新たなトレーニング戦略を提案する。
2つの広く使われているベンチマーク実験の結果、LCDは全ての言語対に対して一貫した改善を得られることが示された。
- 参考スコア(独自算出の注目度): 21.02985367886862
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although all-in-one-model multilingual neural machine translation (MNMT) has
achieved remarkable progress in recent years, its selected best overall
checkpoint fails to achieve the best performance simultaneously in all language
pairs. It is because that the best checkpoints for each individual language
pair (i.e., language-specific best checkpoints) scatter in different epochs. In
this paper, we present a novel training strategy dubbed Language-Specific
Self-Distillation (LSSD) for bridging the gap between language-specific best
checkpoints and the overall best checkpoint. In detail, we regard each
language-specific best checkpoint as a teacher to distill the overall best
checkpoint. Moreover, we systematically explore three variants of our LSSD,
which perform distillation statically, selectively, and adaptively.
Experimental results on two widely-used benchmarks show that LSSD obtains
consistent improvements towards all language pairs and achieves the
state-of-the-art
- Abstract(参考訳): オールインワンモデル多言語ニューラルネットワーク翻訳(MNMT)は近年顕著な進歩を遂げているが、その選択された全体的なチェックポイントは、すべての言語ペアで最高のパフォーマンスを達成できなかった。
それは、個々の言語ペア(すなわち言語固有のベストチェックポイント)のベストチェックポイントが、異なるエポックに散らばっているからである。
本稿では,言語固有の最良チェックポイントと全体的な最良チェックポイントのギャップを埋めるための,Language-Specific Self-Distillation (LSSD)と呼ばれる新たなトレーニング戦略を提案する。
詳しくは、各言語固有のベストチェックポイントを教師として、全体的なベストチェックポイントを蒸留する。
さらに, 静的, 選択的, 適応的に蒸留を行う3種類のlssdを体系的に検討した。
広く使われている2つのベンチマークにおける実験結果から、lssdはすべての言語対に対して一貫した改善を達成し、最先端を達成することが示されている。
関連論文リスト
- Multilingual Sentence Transformer as A Multilingual Word Aligner [15.689680887384847]
多言語文 Transformer LaBSE が強い多言語単語アライメント器であるかどうかを検討する。
7つの言語対の実験結果から、最も優れたコーディネータは、すべての品種の過去の最先端モデルよりも優れていることが示された。
コーディネータは1つのモデルで異なる言語ペアをサポートし、ファインタニングプロセスに現れないゼロショット言語ペア上で新しい最先端の言語ペアを実現する。
論文 参考訳(メタデータ) (2023-01-28T09:28:55Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳(メタデータ) (2022-05-24T03:35:00Z) - IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and
Languages [87.5457337866383]
画像認識言語理解評価ベンチマークについて紹介する。
IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。
翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
論文 参考訳(メタデータ) (2022-01-27T18:53:22Z) - On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。
教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。
我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
論文 参考訳(メタデータ) (2021-12-21T08:10:27Z) - Analysing The Impact Of Linguistic Features On Cross-Lingual Transfer [3.299672391663527]
我々は、最先端の多言語モデルを分析し、言語間の良い伝達に何が影響するかを判断する。
また,特定の構文特徴を見ることは,構文的類似性の集合よりも,性能予測に2~4倍有益であることを示す。
論文 参考訳(メタデータ) (2021-05-12T21:22:58Z) - Cross-lingual Machine Reading Comprehension with Language Branch
Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。
本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。
LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。
複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文 参考訳(メタデータ) (2020-10-27T13:12:17Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳(メタデータ) (2020-10-15T18:34:13Z) - Cross-lingual Alignment Methods for Multilingual BERT: A Comparative
Study [2.101267270902429]
ゼロショット設定におけるmBERTの転送能力に異なる言語間監督形態と様々なアライメント手法がどう影響するかを解析する。
並列コーパスの監督は概ね辞書アライメントよりも優れている。
論文 参考訳(メタデータ) (2020-09-29T20:56:57Z) - Knowledge Distillation for Multilingual Unsupervised Neural Machine
Translation [61.88012735215636]
unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。
UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。
本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
論文 参考訳(メタデータ) (2020-04-21T17:26:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。