論文の概要: No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement

• arxiv url: http://arxiv.org/abs/2404.15737v1
• Date: Wed, 24 Apr 2024 08:52:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 19:40:12.156274
• Title: No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement
• Title（参考訳）: 列車なしのゲイン:訓練不要な言語適応者強化のための言語算術
• Authors: Mateusz Klimaszewski, Piotr Andruszkiewicz, Alexandra Birch,
• Abstract要約: 本稿では,学習不要な後処理が可能な言語演算法を提案する。 提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
• 参考スコア（独自算出の注目度）: 59.37775534633868
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modular deep learning is the state-of-the-art solution for lifting the curse of multilinguality, preventing the impact of negative interference and enabling cross-lingual performance in Multilingual Pre-trained Language Models. However, a trade-off of this approach is the reduction in positive transfer learning from closely related languages. In response, we introduce a novel method called language arithmetic, which enables training-free post-processing to address this limitation. Inspired by the task arithmetic framework, we apply learning via addition to the language adapters, transitioning the framework from a multi-task to a multilingual setup. The effectiveness of the proposed solution is demonstrated on three downstream tasks in a MAD-X-based set of cross-lingual schemes, acting as a post-processing procedure. Language arithmetic consistently improves the baselines with significant gains in the most challenging cases of zero-shot and low-resource applications. Our code and models are available at https://github.com/mklimasz/language-arithmetic .
• Abstract（参考訳）: モジュール型深層学習は、多言語性の呪いを解き、負の干渉の影響を防ぎ、多言語事前学習言語モデルにおける言語間性能を実現するための最先端のソリューションである。 しかし、このアプローチのトレードオフは、密接な関係のある言語からの正転移学習の削減である。 そこで本研究では,この制限に対処するためのトレーニング不要なポストプロセッシングを実現する,言語演算と呼ばれる新しい手法を提案する。 タスク演算フレームワークにインスパイアされ、言語アダプタに加えて学習を適用し、フレームワークをマルチタスクから多言語設定に移行する。 提案手法の有効性は,MAD-Xに基づく言語間スキームの3つの下流タスクにおいて実証され,後処理の手順として機能する。 ゼロショットおよび低リソースアプリケーションの最も難しいケースでは、言語演算がベースラインを一貫して改善する。 私たちのコードとモデルはhttps://github.com/mklimasz/ language-arithmetic で利用可能です。

関連論文リスト

• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning [6.329304732560936]
  既存のゼロショットのクロスリンガル転送法は、並列コーパスやバイリンガル辞書に依存している。 意味喪失のない仮想多言語埋め込みに英語の埋め込みを移すための埋め込み・プッシュ・アテンション・プル・ロバスト・ターゲットを提案する。
  論文  参考訳（メタデータ） (2022-10-18T15:36:53Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
  多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• Zero-Shot Dependency Parsing with Worst-Case Aware Automated Curriculum Learning [5.865807597752895]
  我々は、自動カリキュラム学習に依存するマルチタスク学習の手法を採用し、外来言語の性能解析を動的に最適化する。 この手法はゼロショット設定における一様・一様サンプリングよりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-16T11:33:20Z)
• Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
  本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。 すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
  論文  参考訳（メタデータ） (2021-10-09T07:00:38Z)
• Sequential Reptile: Inter-Task Gradient Alignment for Multilingual Learning [61.29879000628815]
  知識伝達を最大化するためには,タスク間の勾配の整合が不可欠であることを示す。 本稿では,タスク間の勾配を効率よく調整する,シンプルで効果的な手法を提案する。 様々なマルチタスク学習やゼロショット言語間移動タスクにおいて,提案手法を広範囲に検証する。
  論文  参考訳（メタデータ） (2021-10-06T09:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。