論文の概要: Enhancing Cross-lingual Natural Language Inference by Soft Prompting with Multilingual Verbalizer

• arxiv url: http://arxiv.org/abs/2305.12761v1
• Date: Mon, 22 May 2023 06:31:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 17:58:49.503628
• Title: Enhancing Cross-lingual Natural Language Inference by Soft Prompting with Multilingual Verbalizer
• Title（参考訳）: 多言語言語によるソフトプロンプトによる言語間自然言語推論の強化
• Authors: Shuang Li, Xuming Hu, Aiwei Liu, Yawen Yang, Fukun Ma, Philip S. Yu, Lijie Wen
• Abstract要約: 言語間自然言語推論は言語間言語理解の基本的な問題である。 我々は,XNLIのためのマルチリンガル・バーバリザ(SoftMV)を用いたソフトプロンプト学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 52.46740830977898
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-lingual natural language inference is a fundamental problem in cross-lingual language understanding. Many recent works have used prompt learning to address the lack of annotated parallel corpora in XNLI. However, these methods adopt discrete prompting by simply translating the templates to the target language and need external expert knowledge to design the templates. Besides, discrete prompts of human-designed template words are not trainable vectors and can not be migrated to target languages in the inference stage flexibly. In this paper, we propose a novel Soft prompt learning framework with the Multilingual Verbalizer (SoftMV) for XNLI. SoftMV first constructs cloze-style question with soft prompts for the input sample. Then we leverage bilingual dictionaries to generate an augmented multilingual question for the original question. SoftMV adopts a multilingual verbalizer to align the representations of original and augmented multilingual questions into the same semantic space with consistency regularization. Experimental results on XNLI demonstrate that SoftMV can achieve state-of-the-art performance and significantly outperform the previous methods under the few-shot and full-shot cross-lingual transfer settings.
• Abstract（参考訳）: 言語間自然言語推論は言語間言語理解の基本的な問題である。 近年の多くの研究は、XNLIにおける注釈付き並列コーパスの欠如に対処するために、即時学習を用いている。 しかし、これらの方法はテンプレートを単にターゲット言語に翻訳することで離散的なプロンプトを採用し、テンプレートを設計するために外部の専門家の知識を必要とする。 さらに、人間が設計したテンプレートワードの離散的なプロンプトは、学習可能なベクトルではなく、推論段階のターゲット言語に柔軟に移行できない。 本稿では,xnli用多言語用言語化子(softmv)を用いた新しいソフトプロンプト学習フレームワークを提案する。 softmvはまず、入力サンプルのソフトプロンプトでclozeスタイルの質問を構成する。 次に、バイリンガル辞書を利用して、元の質問に対する拡張多言語質問を生成する。 softmvは、オリジナルおよび拡張された多言語質問の表現を一貫性の正規化と共に同じ意味空間に合わせるために、多言語用動詞化器を採用する。 XNLIの実験結果によると、SoftMVは最先端の性能を達成でき、複数ショットと全ショットのクロスランガルな転送設定で従来の手法よりも大幅に優れていた。

関連論文リスト

• Cross-Lingual Transfer for Natural Language Inference via Multilingual Prompt Translator [104.63314132355221]
  素早い学習による言語間移動は有望な効果を示した。 我々は,MPT(Multilingual Prompt Translator)という新しいフレームワークを提案する。 MPTは、ソース言語とはかなり異なる言語に移行する際、バニラプロンプトよりも顕著である。
  論文  参考訳（メタデータ） (2024-03-19T03:35:18Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified Multilingual Prompt [98.26682501616024]
  我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。 統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。 提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
  論文  参考訳（メタデータ） (2022-02-23T11:57:52Z)
• Syntax-augmented Multilingual BERT for Cross-lingual Transfer [37.99210035238424]
  この研究は、言語構文とトレーニングmBERTを明示的に提供することが、言語間転送に役立つことを示している。 実験の結果,mBERTの構文拡張は,一般的なベンチマーク上での言語間移動を改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-03T21:12:50Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。