Fugu-MT 論文翻訳(概要): Soft Language Prompts for Language Transfer

論文の概要: Soft Language Prompts for Language Transfer

arxiv url: http://arxiv.org/abs/2407.02317v2
Date: Wed, 30 Oct 2024 08:30:39 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-31 14:23:19.736982
Title: Soft Language Prompts for Language Transfer
Title（参考訳）: 言語伝達のためのソフト言語プロンプト
Authors: Ivan Vykopal, Simon Ostermann, Marián Šimko,
Abstract要約: 自然言語処理(NLP)における言語間知識伝達の課題本研究では,パラメータ効率のよい微調整法を組み合わせることで,言語間NLPアプリケーションを改善するための知見を提供する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Cross-lingual knowledge transfer, especially between high- and low-resource languages, remains challenging in natural language processing (NLP). This study offers insights for improving cross-lingual NLP applications through the combination of parameter-efficient fine-tuning methods. We systematically explore strategies for enhancing cross-lingual transfer through the incorporation of language-specific and task-specific adapters and soft prompts. We present a detailed investigation of various combinations of these methods, exploring their efficiency across 16 languages, focusing on 10 mid- and low-resource languages. We further present to our knowledge the first use of soft prompts for language transfer, a technique we call soft language prompts. Our findings demonstrate that in contrast to claims of previous work, a combination of language and task adapters does not always work best; instead, combining a soft language prompt with a task adapter outperforms most configurations in many cases.
Abstract（参考訳）: 自然言語処理(NLP)では,特に高次言語と低次言語の間での言語間知識伝達が困難である。本研究は,パラメータ効率のよい微調整法を組み合わせることで,言語間NLPアプリケーションを改善するための知見を提供する。言語固有のアダプタとタスク固有のアダプタとソフトプロンプトを組み込むことにより、言語間移動を強化する戦略を体系的に検討する。提案手法の様々な組み合わせについて詳細な調査を行い,その効率性について16言語にまたがって検討し,中級言語と低級言語の10言語に焦点をあてる。我々はさらに、ソフト言語プロンプトと呼ばれる言語転送のためのソフトプロンプトの最初の使用について、私たちの知識に提示する。その結果,従来の作業と対照的に,言語とタスクアダプタの組み合わせは必ずしも最適ではなく,ソフト言語プロンプトとタスクアダプタの組み合わせは多くの場合,ほとんどの構成よりも優れていることがわかった。

関連論文リスト

Cross-Lingual Transfer for Natural Language Inference via Multilingual Prompt Translator [104.63314132355221]
素早い学習による言語間移動は有望な効果を示した。我々は,MPT(Multilingual Prompt Translator)という新しいフレームワークを提案する。 MPTは、ソース言語とはかなり異なる言語に移行する際、バニラプロンプトよりも顕著である。
論文参考訳（メタデータ） (2024-03-19T03:35:18Z)
UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。本研究では,オープンソースの多言語教師付き微調整データセットを構築する。結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
論文参考訳（メタデータ） (2024-02-07T05:05:53Z)
Enhancing Multilingual Speech Recognition through Language Prompt Tuning and Frame-Level Language Adapter [15.039113587886225]
本稿では,言語構成と言語に依存しない多言語音声認識を実現するための,シンプルかつパラメータ効率のよい2つの手法を提案する。本実験は,提案手法を用いて,7言語にまたがる大幅な性能向上を示す。
論文参考訳（メタデータ） (2023-09-18T02:51:59Z)
Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文参考訳（メタデータ） (2023-06-13T08:08:08Z)
Simple yet Effective Code-Switching Language Identification with Multitask Pre-Training and Transfer Learning [0.7242530499990028]
コードスイッチング(Code-switching)は、カジュアルな設定において、多言語話者が異なる言語の単語を1つの発話で混ぜる言語現象である。英マンダリン言語指向音声データセットにおける言語識別精度向上のための2つの新しいアプローチを提案する。我々の最良のモデルでは、実際の英マンダリンのコードスイッチングによる子指向音声コーパスにおいて、0.781のバランスの取れた精度を達成し、以前のベースラインを55.3%上回っている。
論文参考訳（メタデータ） (2023-05-31T11:43:16Z)
Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文参考訳（メタデータ） (2023-04-03T18:46:01Z)
Cross-lingual Transfer for Speech Processing using Acoustic Language Similarity [81.51206991542242]
言語間の移動は、このデジタル分割を橋渡しする魅力的な方法を提供する。現在の言語間アルゴリズムは、テキストベースのタスクや音声関連タスクを低リソース言語で実現している。本稿では,数百の言語をまたがる音響的言語間移動対を効率的に同定する言語類似性手法を提案する。
論文参考訳（メタデータ） (2021-11-02T01:55:17Z)
X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering [55.57776147848929]
自然言語理解のための言語横断型メタトランシュファー学習アプローチX-METRA-ADAを提案する。我々のアプローチは、最適化に基づくメタ学習アプローチであるMAMLに適応し、新しい言語に適応することを学ぶ。提案手法は難易度の高い微調整に優れており,ほとんどの言語において両タスクの競合性能に到達していることを示す。
論文参考訳（メタデータ） (2021-04-20T00:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。