論文の概要: Cross-Lingual Transfer for Natural Language Inference via Multilingual Prompt Translator

• arxiv url: http://arxiv.org/abs/2403.12407v1
• Date: Tue, 19 Mar 2024 03:35:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 15:31:57.827238
• Title: Cross-Lingual Transfer for Natural Language Inference via Multilingual Prompt Translator
• Title（参考訳）: 多言語 Prompt Translator を用いた自然言語推論のための言語間変換
• Authors: Xiaoyu Qiu, Yuechen Wang, Jiaxin Shi, Wengang Zhou, Houqiang Li,
• Abstract要約: 素早い学習による言語間移動は有望な効果を示した。 我々は,MPT(Multilingual Prompt Translator)という新しいフレームワークを提案する。 MPTは、ソース言語とはかなり異なる言語に移行する際、バニラプロンプトよりも顕著である。
• 参考スコア（独自算出の注目度）: 104.63314132355221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Based on multilingual pre-trained models, cross-lingual transfer with prompt learning has shown promising effectiveness, where soft prompt learned in a source language is transferred to target languages for downstream tasks, particularly in the low-resource scenario. To efficiently transfer soft prompt, we propose a novel framework, Multilingual Prompt Translator (MPT), where a multilingual prompt translator is introduced to properly process crucial knowledge embedded in prompt by changing language knowledge while retaining task knowledge. Concretely, we first train prompt in source language and employ translator to translate it into target prompt. Besides, we extend an external corpus as auxiliary data, on which an alignment task for predicted answer probability is designed to convert language knowledge, thereby equipping target prompt with multilingual knowledge. In few-shot settings on XNLI, MPT demonstrates superiority over baselines by remarkable improvements. MPT is more prominent compared with vanilla prompting when transferring to languages quite distinct from source language.
• Abstract（参考訳）: 複数言語による事前学習モデルに基づいて、プロンプト学習による言語間移動は有望な効果を示し、ソース言語で学習したソフトプロンプトは、特に低リソースシナリオにおいて、下流タスクのためにターゲット言語に転送される。 ソフトプロンプトを効率的に転送するために,多言語プロンプトトランスレータ (MPT) という新しいフレームワークを提案する。 具体的には、まずソース言語でプロンプトを訓練し、ターゲットプロンプトに変換するためにトランスレータを使用します。 さらに,外部コーパスを補助データとして拡張し,予測解答確率のアライメントタスクを設計して言語知識を変換し,ターゲットプロンプトに多言語知識を付与する。 XNLIのわずかな設定では、MPTは目覚ましい改善によってベースラインよりも優れていることを示している。 MPTは、ソース言語とはかなり異なる言語に移行する際、バニラプロンプトよりも顕著である。

関連論文リスト

• Soft Language Prompts for Language Transfer [0.0]
  自然言語処理(NLP)における言語間知識伝達の課題 本研究では,パラメータ効率のよい微調整法を組み合わせることで,言語間NLPアプリケーションを改善するための知見を提供する。
  論文  参考訳（メタデータ） (2024-07-02T14:50:03Z)
• Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
  言語間移動は多言語NLPにおける中心的なタスクである。 このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。 ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T19:30:56Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Enhancing Cross-lingual Natural Language Inference by Soft Prompting with Multilingual Verbalizer [52.46740830977898]
  言語間自然言語推論は言語間言語理解の基本的な問題である。 我々は,XNLIのためのマルチリンガル・バーバリザ(SoftMV)を用いたソフトプロンプト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-22T06:31:29Z)
• Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified Multilingual Prompt [98.26682501616024]
  我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。 統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。 提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
  論文  参考訳（メタデータ） (2022-02-23T11:57:52Z)
• Syntax-augmented Multilingual BERT for Cross-lingual Transfer [37.99210035238424]
  この研究は、言語構文とトレーニングmBERTを明示的に提供することが、言語間転送に役立つことを示している。 実験の結果,mBERTの構文拡張は,一般的なベンチマーク上での言語間移動を改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-03T21:12:50Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。