論文の概要: Enhancing Cross-lingual Prompting with Dual Prompt Augmentation

• arxiv url: http://arxiv.org/abs/2202.07255v2
• Date: Wed, 24 May 2023 16:03:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 03:29:09.508942
• Title: Enhancing Cross-lingual Prompting with Dual Prompt Augmentation
• Title（参考訳）: Dual Prompt Augmentationによる言語間プロンプトの強化
• Authors: Meng Zhou, Xin Li, Yue Jiang, Lidong Bing
• Abstract要約: 本稿では,ソース言語学習とターゲット言語推論の相違を緩和するUniversal Promptingを提案する。 XNLIでは、クラスごとの英語学習例は16例のみで46.54%、ファインタニングの34.99%を大きく上回っている。
• 参考スコア（独自算出の注目度）: 39.7192699006687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompting shows promising results in few-shot scenarios. However, its strength for multilingual/cross-lingual problems has not been fully exploited. Zhao and Sch\"utze (2021) made initial explorations in this direction by presenting that cross-lingual prompting outperforms cross-lingual finetuning. In this paper, we conduct an empirical exploration on the effect of each component in cross-lingual prompting and derive language-agnostic Universal Prompting, which helps alleviate the discrepancies between source-language training and target-language inference. Based on this, we propose DPA, a dual prompt augmentation framework, aiming at relieving the data scarcity issue in few-shot cross-lingual prompting. Notably, for XNLI, our method achieves 46.54% with only 16 English training examples per class, significantly better than 34.99% of finetuning. Our code is available at https://github.com/DAMO-NLP-SG/DPA.
• Abstract（参考訳）: プロンプティングは、数ショットのシナリオで有望な結果を示す。 しかし、多言語/言語間問題に対するその強みは十分に活用されていない。 zhao and sch\"utze (2021) は、この方向の初期調査を行い、言語交叉が言語交叉の微調整を上回ることを示した。 本稿では,言語間プロンプトと言語に依存しないユニバーサル・プロンプトにおける各コンポーネントの効果を実証的に検討し,ソース言語訓練とターゲット言語推論の相違を緩和する。 そこで本稿では,DPAという2つのプロンプト拡張フレームワークを提案する。 特に,XNLIでは,クラスごとの英語学習例は16例のみで46.54%,ファインタニングの34.99%をはるかに上回っている。 私たちのコードはhttps://github.com/DAMO-NLP-SG/DPAで公開されています。

関連論文リスト

• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [83.31657317516598]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列かつ大規模な多言語会話データセットであるXSGDを紹介する。 我々は、アライメントプロンプトを学習するための効率的なプロンプトチューニングベースの手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Multilingual Relation Classification via Efficient and Effective Prompting [9.119073318043952]
  本稿では,プロンプトベース多言語関係分類(RC)に関する最初の研究について述べる。 本稿では,関係3重項からプロンプトを合成し,クラスラベルの最小翻訳のみを伴う効率的かつ効率的な手法を提案する。 完全教師付き、少数ショット、ゼロショットのシナリオでその性能を評価し、14言語でその有効性を分析した。
  論文  参考訳（メタデータ） (2022-10-25T08:40:23Z)
• Enhancing Cross-lingual Transfer by Manifold Mixup [20.013373322918394]
  本稿では,表現の相違を適応的に校正し,対象言語に対して妥協された表現を与える,言語間多様体混合(X-Mixup)法を提案する。 XTREMEベンチマークの実験では、X-Mixupは複数のテキスト理解タスクにおいて、強いベースラインと比較して1.8%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2022-05-09T10:49:07Z)
• Delving Deeper into Cross-lingual Visual Question Answering [115.16614806717341]
  我々は,入力データの影響,微調整および評価体制,および言語間設定における2つのモード間の相互作用を理解することを目的としている。 モノリンガルな英語のパフォーマンスとのギャップを大幅に減らす新しい手法により、低転送性能に取り組む。 学習データやモデルにおけるモダリティバイアスを広範囲に分析し、なぜゼロショットのパフォーマンスギャップが問題の種類や言語に残るのかをさらに理解することを目的としている。
  論文  参考訳（メタデータ） (2022-02-15T18:22:18Z)
• Discrete and Soft Prompting for Multilingual Models [4.30226515682283]
  離散的かつソフトなプロンプトは多言語の場合の微調整よりも優れていることを示す。 また、英語以外の複数の言語でデータトレーニングを行うことで、優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-09-08T13:22:59Z)
• X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering [55.57776147848929]
  自然言語理解のための言語横断型メタトランシュファー学習アプローチX-METRA-ADAを提案する。 我々のアプローチは、最適化に基づくメタ学習アプローチであるMAMLに適応し、新しい言語に適応することを学ぶ。 提案手法は難易度の高い微調整に優れており,ほとんどの言語において両タスクの競合性能に到達していることを示す。
  論文  参考訳（メタデータ） (2021-04-20T00:13:35Z)
• AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
  我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。 は、アメリカ大陸の10の原住民の言語である。 XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。 XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
  論文  参考訳（メタデータ） (2021-04-18T05:32:28Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。