論文の概要: Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified Multilingual Prompt

• arxiv url: http://arxiv.org/abs/2202.11451v1
• Date: Wed, 23 Feb 2022 11:57:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-24 15:56:29.443162
• Title: Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified Multilingual Prompt
• Title（参考訳）: 統一多言語プロンプトを用いたプロンプトベースチューニングのゼロショットクロスリンガル転送
• Authors: Lianzhe Huang, Shuming Ma, Dongdong Zhang, Furu Wei and Houfeng Wang
• Abstract要約: 我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。 統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。 提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
• 参考スコア（独自算出の注目度）: 98.26682501616024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt-based tuning has been proven effective for pretrained language models (PLMs). While most of the existing work focuses on the monolingual prompts, we study the multilingual prompts for multilingual PLMs, especially in the zero-shot cross-lingual setting. To alleviate the effort of designing different prompts for multiple languages, we propose a novel model that uses a unified prompt for all languages, called UniPrompt. Different from the discrete prompts and soft prompts, the unified prompt is model-based and language-agnostic. Specifically, the unified prompt is initialized by a multilingual PLM to produce language-independent representation, after which is fused with the text input. During inference, the prompts can be pre-computed so that no extra computation cost is needed. To collocate with the unified prompt, we propose a new initialization method for the target label word to further improve the model's transferability across languages. Extensive experiments show that our proposed methods can significantly outperform the strong baselines across different languages. We will release data and code to facilitate future research.
• Abstract（参考訳）: Promptベースのチューニングは、事前訓練された言語モデル(PLM)に有効であることが証明されている。 既存の研究のほとんどは単言語プロンプトに焦点を当てているが、多言語plmの多言語プロンプト、特にゼロショットクロスリンガル設定について研究している。 複数の言語に対して異なるプロンプトを設計する作業を軽減するため、UniPromptと呼ばれる全ての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。 離散的なプロンプトやソフトプロンプトとは異なり、統一プロンプトはモデルベースで言語に依存しない。 具体的には、統一プロンプトを多言語PLMによって初期化し、言語に依存しない表現を生成し、その後テキスト入力と融合する。 推論中は、余分な計算コストが不要になるようにプロンプトを事前計算することができる。 統一プロンプトとコロケーションするために,ターゲットラベルワードの新たな初期化手法を提案し,言語間のモデルの転送性をさらに向上させる。 大規模な実験により,提案手法は異なる言語間で強いベースラインを著しく上回ることを示す。 今後の研究を促進するデータとコードをリリースします。

関連論文リスト

• Cross-Lingual Transfer for Natural Language Inference via Multilingual Prompt Translator [104.63314132355221]
  素早い学習による言語間移動は有望な効果を示した。 我々は,MPT(Multilingual Prompt Translator)という新しいフレームワークを提案する。 MPTは、ソース言語とはかなり異なる言語に移行する際、バニラプロンプトよりも顕著である。
  論文  参考訳（メタデータ） (2024-03-19T03:35:18Z)
• Few-Shot Cross-Lingual Transfer for Prompting Large Language Models in Low-Resource Languages [0.0]
  プロンプティング(prompting)とは、ユーザがタスクの説明と完了したタスクのいくつかの例を PLM にコンテキストとして提供し、PLM に新しい例でタスクを実行するように促す方法である。 提案手法は, 数発プロンプト(prompt), 言語適応微調整(LAFT), ニューラルマシン翻訳(Translate)の3種類である。 翻訳とプロンプトの設定は、選択した低リソース言語に対して、数ショットプロンプトの計算効率とコスト効率のよい方法であることがわかった。
  論文  参考訳（メタデータ） (2024-03-09T21:36:13Z)
• Helping Language Models Learn More: Multi-dimensional Task Prompt for Few-shot Tuning [36.14688633670085]
  本稿では,タスク関連オブジェクト,要約,タスク記述情報に基づく多次元タスクプロンプト学習手法MTPromptを提案する。 提案するMTPromptは,適切なプロンプトを自動構築し,検索することで,いくつかのサンプル設定と5つの異なるデータセットに対して最適な結果が得られる。
  論文  参考訳（メタデータ） (2023-12-13T10:00:44Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Enhancing Cross-lingual Natural Language Inference by Soft Prompting with Multilingual Verbalizer [52.46740830977898]
  言語間自然言語推論は言語間言語理解の基本的な問題である。 我々は,XNLIのためのマルチリンガル・バーバリザ(SoftMV)を用いたソフトプロンプト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-22T06:31:29Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。