論文の概要: Enhancing Cross-lingual Prompting with Dual Prompt Augmentation

• arxiv url: http://arxiv.org/abs/2202.07255v2
• Date: Wed, 24 May 2023 16:03:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 03:29:09.508942
• Title: Enhancing Cross-lingual Prompting with Dual Prompt Augmentation
• Title（参考訳）: Dual Prompt Augmentationによる言語間プロンプトの強化
• Authors: Meng Zhou, Xin Li, Yue Jiang, Lidong Bing
• Abstract要約: 本稿では,ソース言語学習とターゲット言語推論の相違を緩和するUniversal Promptingを提案する。 XNLIでは、クラスごとの英語学習例は16例のみで46.54%、ファインタニングの34.99%を大きく上回っている。
• 参考スコア（独自算出の注目度）: 39.7192699006687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompting shows promising results in few-shot scenarios. However, its strength for multilingual/cross-lingual problems has not been fully exploited. Zhao and Sch\"utze (2021) made initial explorations in this direction by presenting that cross-lingual prompting outperforms cross-lingual finetuning. In this paper, we conduct an empirical exploration on the effect of each component in cross-lingual prompting and derive language-agnostic Universal Prompting, which helps alleviate the discrepancies between source-language training and target-language inference. Based on this, we propose DPA, a dual prompt augmentation framework, aiming at relieving the data scarcity issue in few-shot cross-lingual prompting. Notably, for XNLI, our method achieves 46.54% with only 16 English training examples per class, significantly better than 34.99% of finetuning. Our code is available at https://github.com/DAMO-NLP-SG/DPA.
• Abstract（参考訳）: プロンプティングは、数ショットのシナリオで有望な結果を示す。 しかし、多言語/言語間問題に対するその強みは十分に活用されていない。 zhao and sch\"utze (2021) は、この方向の初期調査を行い、言語交叉が言語交叉の微調整を上回ることを示した。 本稿では,言語間プロンプトと言語に依存しないユニバーサル・プロンプトにおける各コンポーネントの効果を実証的に検討し,ソース言語訓練とターゲット言語推論の相違を緩和する。 そこで本稿では,DPAという2つのプロンプト拡張フレームワークを提案する。 特に,XNLIでは,クラスごとの英語学習例は16例のみで46.54%,ファインタニングの34.99%をはるかに上回っている。 私たちのコードはhttps://github.com/DAMO-NLP-SG/DPAで公開されています。

関連論文リスト

• A two-stage transliteration approach to improve performance of a multilingual ASR [1.9511556030544333]
  本稿では,言語に依存しないエンドツーエンドモデルを構築するためのアプローチを提案する。 我々は2つのIndic言語に対するエンドツーエンドの多言語音声認識システムを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-10-09T05:30:33Z)
• Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
  言語間移動は多言語NLPにおける中心的なタスクである。 このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。 ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T19:30:56Z)
• Analyzing and Reducing the Performance Gap in Cross-Lingual Transfer with Fine-tuning Slow and Fast [50.19681990847589]
  既存の研究では、1つの(ソース)言語で微調整された多言語事前学習言語モデルが、非ソース言語の下流タスクでもうまく機能していることが示されている。 本稿では、微調整プロセスを分析し、パフォーマンスギャップがいつ変化するかを分析し、ネットワークの重みが全体のパフォーマンスに最も影響するかを特定する。
  論文  参考訳（メタデータ） (2023-05-19T06:04:21Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Multilingual Relation Classification via Efficient and Effective Prompting [9.119073318043952]
  本稿では,プロンプトベース多言語関係分類(RC)に関する最初の研究について述べる。 本稿では,関係3重項からプロンプトを合成し,クラスラベルの最小翻訳のみを伴う効率的かつ効率的な手法を提案する。 完全教師付き、少数ショット、ゼロショットのシナリオでその性能を評価し、14言語でその有効性を分析した。
  論文  参考訳（メタデータ） (2022-10-25T08:40:23Z)
• Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified Multilingual Prompt [98.26682501616024]
  我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。 統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。 提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
  論文  参考訳（メタデータ） (2022-02-23T11:57:52Z)
• Nearest Neighbour Few-Shot Learning for Cross-lingual Classification [2.578242050187029]
  単純な近接数ショット(15サンプル)推論手法による言語間適応による分類作業 提案手法は,少数のラベル付きサンプルのみを対象とする従来の微調整を継続的に改善する。
  論文  参考訳（メタデータ） (2021-09-06T03:18:23Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。