論文の概要: SSP: Self-Supervised Prompting for Cross-Lingual Transfer to Low-Resource Languages using Large Language Models

• arxiv url: http://arxiv.org/abs/2406.18880v1
• Date: Thu, 27 Jun 2024 04:21:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 15:17:37.525284
• Title: SSP: Self-Supervised Prompting for Cross-Lingual Transfer to Low-Resource Languages using Large Language Models
• Title（参考訳）: SSP:大規模言語モデルを用いた低リソース言語への言語間移動のための自己監督型プロンプト
• Authors: Vipul Rathore, Aniruddha Deb, Ankish Chandresh, Parag Singla, Mausam,
• Abstract要約: Self-Supervised Prompting (SSP) はゼロラベルのクロスリンガルトランスファー(0-CLT)の設定に適した新しいICLアプローチである。 SSP は、LLM がテキスト内例がターゲット言語からのものである場合、より正確なラベルを出力する、というキーオブザーバーに基づいている。 SSPは、0-CLTセットアップにおいて、既存のSOTAの微調整とプロンプトベースのベースラインを強く上回る。
• 参考スコア（独自算出の注目度）: 23.522223369054437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, very large language models (LLMs) have shown exceptional performance on several English NLP tasks with just in-context learning (ICL), but their utility in other languages is still underexplored. We investigate their effectiveness for NLP tasks in low-resource languages (LRLs), especially in the setting of zero-labelled cross-lingual transfer (0-CLT), where no labelled training data for the target language is available -- however training data from one or more related medium-resource languages (MRLs) is utilized, alongside the available unlabeled test data for a target language. We introduce Self-Supervised Prompting (SSP), a novel ICL approach tailored for the 0-CLT setting. SSP is based on the key observation that LLMs output more accurate labels if in-context exemplars are from the target language (even if their labels are slightly noisy). To operationalize this, since target language training data is not available in 0-CLT, SSP operates in two stages. In Stage I, using source MRL training data, target language's test data is noisily labeled. In Stage II, these noisy test data points are used as exemplars in ICL for further improved labelling. Additionally, our implementation of SSP uses a novel Integer Linear Programming (ILP)-based exemplar selection that balances similarity, prediction confidence (when available) and label coverage. Experiments on three tasks and eleven LRLs (from three regions) demonstrate that SSP strongly outperforms existing SOTA fine-tuned and prompting-based baselines in 0-CLT setup.
• Abstract（参考訳）: 近年、非常に大きな言語モデル (LLM) は、単に文脈内学習 (ICL) を施したいくつかの英語のNLPタスクにおいて、例外的な性能を示しているが、他の言語でのそれらの実用性はまだ未熟である。 低リソース言語(LRL)におけるNLPタスクの有効性について検討し、特に、対象言語に対するラベル付きトレーニングデータがないゼロラベルのクロスランガルトランスファー(0-CLT)の設定において、ターゲット言語の未ラベルテストデータとともに、1つ以上の関連する中リソース言語(MRL)からのトレーニングデータを利用する。 0-CLT 設定に適した新しい ICL アプローチである Self-Supervised Prompting (SSP) を導入する。 SSPは、LLMが(ラベルが少しうるさいとしても)テキスト中の例えがターゲット言語からのものである場合、より正確なラベルを出力する、というキーオブザーバーに基づいている。 これを運用するには、ターゲット言語トレーニングデータが0-CLTでは利用できないため、SSPは2段階で動作する。 ステージIでは、ソースMRLトレーニングデータを使用して、ターゲット言語のテストデータがノイズの多いラベル付けされる。 ステージIIでは、これらのノイズの多いテストデータポイントをICLの例に使用して、さらなるラベリングを改善する。 さらに、SSPの実装では、類似性、予測信頼性(利用可能な場合)、ラベルカバレッジのバランスをとる、新しい整数線形プログラミング(ILP)ベースの例選択を採用しています。 3つのタスクと11個のLRL(3つの領域から)の実験により、SSPは既存のSOTAの微調整およびプロンプトベースラインを0-CLT設定で強く上回ることを示した。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Cross-lingual Back-Parsing: Utterance Synthesis from Meaning Representation for Zero-Resource Semantic Parsing [6.074150063191985]
  Cross-Lingual Back-Parsing(クロスリンガル・バック・パーシング)は、セマンティック・パーシングのためのクロスリンガル・トランスファーを強化するために設計された新しいデータ拡張手法である。 提案手法は,ゼロリソース設定に挑戦する上で,言語間データ拡張を効果的に行う。
  論文  参考訳（メタデータ） (2024-10-01T08:53:38Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Transfer-Free Data-Efficient Multilingual Slot Labeling [82.02076369811402]
  スロットラベリングはタスク指向対話(ToD)システムの中核的なコンポーネントである。 固有データ不足の問題を緩和するために、多言語ToDに関する現在の研究は、十分な英語の注釈付きデータが常に利用可能であると仮定している。 標準的な多言語文エンコーダを効果的なスロットラベリングに変換する2段階のスロットラベリング手法(TWOSL)を提案する。
  論文  参考訳（メタデータ） (2023-05-22T22:47:32Z)
• Multilingual LLMs are Better Cross-lingual In-context Learners with Alignment [24.742581572364124]
  インコンテキスト学習(ICL)は、大規模言語モデルが勾配更新なしでいくつかのラベル付きサンプルに条件付きテストラベルを推測できるようになり、展開される。 言語間テキスト分類のためのICLの詳細な分析を行う。 我々は新しいプロンプト・コンストラクション・ストラテジ--クロスランガルなインコンテキスト・ソース・ターゲットアライメント(X-InSTA)を提案する。
  論文  参考訳（メタデータ） (2023-05-10T07:24:36Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Cross-Lingual Semantic Role Labeling with High-Quality Translated Training Corpus [41.031187560839555]
  言語間セマンティックロールのラベル付けは、この問題に対処するための有望な方法である。 目的言語のための高品質なトレーニングデータセットを構築するためのコーパス翻訳に基づく新しい代替案を提案する。 ユニバーサル・プロポーション・バンクの実験結果から, 翻訳法が有効であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-14T04:16:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。