論文の概要: Exploring Intrinsic Language-specific Subspaces in Fine-tuning Multilingual Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2409.05224v1
• Date: Sun, 8 Sep 2024 21:40:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 16:58:34.057114
• Title: Exploring Intrinsic Language-specific Subspaces in Fine-tuning Multilingual Neural Machine Translation
• Title（参考訳）: 微調整多言語ニューラルネットワーク翻訳における固有言語固有の部分空間の探索
• Authors: Zhe Cao, Zhi Qu, Hidetaka Kamigaito, Taro Watanabe,
• Abstract要約: そこで本研究では,言語固有の部分空間において,パラメータのごく一部で言語を微調整する手法を提案する。 アーキテクチャ学習手法を提案し, 微調整中に段階的なプルーニングスケジュールを導入し, 最適設定を徹底的に探索する。
• 参考スコア（独自算出の注目度）: 27.833493084726896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual neural machine translation models support fine-tuning hundreds of languages simultaneously. However, fine-tuning on full parameters solely is inefficient potentially leading to negative interactions among languages. In this work, we demonstrate that the fine-tuning for a language occurs in its intrinsic language-specific subspace with a tiny fraction of entire parameters. Thus, we propose language-specific LoRA to isolate intrinsic language-specific subspaces. Furthermore, we propose architecture learning techniques and introduce a gradual pruning schedule during fine-tuning to exhaustively explore the optimal setting and the minimal intrinsic subspaces for each language, resulting in a lightweight yet effective fine-tuning procedure. The experimental results on a 12-language subset and a 30-language subset of FLORES-101 show that our methods not only outperform full-parameter fine-tuning up to 2.25 spBLEU scores but also reduce trainable parameters to $0.4\%$ for high and medium-resource languages and $1.6\%$ for low-resource ones.
• Abstract（参考訳）: 多言語ニューラルマシン翻訳モデルは、数百の言語を同時に微調整する。 しかし、完全なパラメータのみを微調整することは、言語間の負の相互作用を引き起こす可能性がある。 本研究では,言語固有の部分空間において,パラメータのごく一部で言語を微調整できることを実証する。 そこで本研究では,言語固有のサブスペースを分離するために,言語固有のLoRAを提案する。 さらに、アーキテクチャ学習手法を提案し、微調整中に段階的な微調整スケジュールを導入し、各言語に対する最適設定と最小限固有の部分空間を徹底的に探索し、軽量で効果的な微調整手順を実現する。 FLORES-101の12言語サブセットと30言語サブセットの実験結果は、我々の手法が最大2.25spBLEUスコアのフルパラメータ微調整を上回るだけでなく、トレーニング可能なパラメータを高低リソース言語で0.4\%、低リソース言語で1.6\%に削減することを示している。

関連論文リスト

• Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts [14.999359332108767]
  表現不足言語に対するASRの性能ギャップを埋めるため、DistilWhisperを提案する。 提案手法は, 言語専門家を用いた軽量モジュール型ASR微調整と, ささやかな大口径v2からの知識蒸留の2つの戦略を含む。 その結果,本手法は通常のファインチューニングやLoRAアダプタよりも効果的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-02T08:37:30Z)
• Parameter-Efficient Cross-lingual Transfer of Vision and Language Models via Translation-based Alignment [31.885608173448368]
  CLIPのような事前訓練された視覚と言語モデルは、画像とテキストを英語のテキストに焦点を合わせることに顕著な成功を収めた。 異なる言語間のパフォーマンスの格差は、不均一なリソース可用性のために観測されている。 翻訳に基づくアライメント手法を用いて,多言語差を緩和するパラメータ効率のよい多言語間移動学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-02T14:09:02Z)
• High-resource Language-specific Training for Multilingual Neural Machine Translation [109.31892935605192]
  負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。 具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。 HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
  論文  参考訳（メタデータ） (2022-07-11T14:33:13Z)
• Efficient Weight factorization for Multilingual Speech Recognition [67.00151881207792]
  エンドツーエンドの多言語音声認識は、多くの言語を含む合成音声コーパスで単一のモデルトレーニングを使用する。 トレーニングデータの各言語には異なる特徴があるため、共有ネットワークは、すべての言語を同時に最適化するのに苦労する可能性がある。 ニューラルネットワークのコア動作をターゲットとした新しい多言語アーキテクチャを提案する:線形変換関数。
  論文  参考訳（メタデータ） (2021-05-07T00:12:02Z)
• Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
  7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。 英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。 このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
  論文  参考訳（メタデータ） (2021-04-15T16:08:43Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)
• Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation [61.88012735215636]
  unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。 UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。 本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
  論文  参考訳（メタデータ） (2020-04-21T17:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。