論文の概要: Boosting Zero-Shot Crosslingual Performance using LLM-Based Augmentations with Effective Data Selection

• arxiv url: http://arxiv.org/abs/2407.10582v1
• Date: Mon, 15 Jul 2024 10:00:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 15:40:56.918599
• Title: Boosting Zero-Shot Crosslingual Performance using LLM-Based Augmentations with Effective Data Selection
• Title（参考訳）: LLMを用いた効率的なデータ選択によるゼロショットクロスリンガル性能の向上
• Authors: Barah Fazili, Ashish Sunil Agrawal, Preethi Jyothi,
• Abstract要約: 大きな言語モデル(LLM)は、非常に熟練したテキストジェネレータである。 ゼロショットプロンプトによるタスク固有のデータ生成にこの機能を活用します。 感情分析や自然言語推論タスクにおいて,顕著なパフォーマンス向上が観察された。
• 参考スコア（独自算出の注目度）: 23.575482348558904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are very proficient text generators. We leverage this capability of LLMs to generate task-specific data via zero-shot prompting and promote cross-lingual transfer for low-resource target languages. Given task-specific data in a source language and a teacher model trained on this data, we propose using this teacher to label LLM generations and employ a set of simple data selection strategies that use the teacher's label probabilities. Our data selection strategies help us identify a representative subset of diverse generations that help boost zero-shot accuracies while being efficient, in comparison to using all the LLM generations (without any subset selection). We also highlight other important design choices that affect cross-lingual performance such as the use of translations of source data and what labels are best to use for the LLM generations. We observe significant performance gains across sentiment analysis and natural language inference tasks (of up to a maximum of 7.13 absolute points and 1.5 absolute points on average) across a number of target languages (Hindi, Marathi, Urdu, Swahili) and domains.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、非常に熟練したテキストジェネレータである。 LLMのこの能力を利用してゼロショットプロンプトによるタスク固有のデータを生成し、低リソースターゲット言語に対する言語間転送を促進する。 このデータに基づいて訓練されたソース言語におけるタスク固有データと教師モデルから、この教師を用いてLCM世代をラベル付けし、教師のラベルの確率を利用する単純なデータ選択戦略のセットを採用することを提案する。 我々のデータ選択戦略は、(サブセットの選択なしで)全てのLLM世代を使用するのと比較して、効率的なゼロショット精度を高めるのに役立つ多様な世代の代表的なサブセットを特定するのに役立ちます。 また、ソースデータの翻訳やLLM世代に最適なラベルなど、言語間パフォーマンスに影響を与える重要な設計選択についても強調する。 感情分析や自然言語推論タスク(最大7.13の絶対点と平均1.5の絶対点)を対象言語(ヒンディー語、マラティー語、ウルドゥー語、スワヒリ語)とドメインで比較した。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• CUDRT: Benchmarking the Detection Models of Human vs. Large Language Models Generated Texts [9.682499180341273]
  大規模言語モデル(LLM)は、産業全体にわたってテキスト生成を大幅に強化した。 彼らの人間的なアウトプットは、人間とAIの作者の区別を困難にしている。 現在のベンチマークは主に静的データセットに依存しており、モデルベースの検出器の評価の有効性を制限している。
  論文  参考訳（メタデータ） (2024-06-13T12:43:40Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• Language and Task Arithmetic with Parameter-Efficient Layers for Zero-Shot Summarization [126.96113831681338]
  本稿では,言語やタスク特化パラメータを構成することで,ゼロショットの言語間移動を改善することを提案する。 本手法は,言語とタスクPEFTモジュールを要素演算により構成し,ラベルなしデータと英語ラベル付きデータを活用する。
  論文  参考訳（メタデータ） (2023-11-15T20:04:58Z)
• Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
  言語間移動は多言語NLPにおける中心的なタスクである。 このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。 ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T19:30:56Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• XeroAlign: Zero-Shot Cross-lingual Transformer Alignment [9.340611077939828]
  XLM-Rなどのクロスリンガルプリトレーニングトランスのタスク固有アライメント法について紹介する。 XeroAlignは翻訳されたタスクデータを使用して、モデルが異なる言語の同様の文埋め込みを生成するよう促します。 XLM-RAのテキスト分類精度はラベル付きデータで訓練されたXLM-Rよりも優れており、言語間対数パラフレーズタスクにおける最先端のモデルと同等である。
  論文  参考訳（メタデータ） (2021-05-06T07:10:00Z)
• UXLA: A Robust Unsupervised Data Augmentation Framework for Zero-Resource Cross-Lingual NLP [19.65783178853385]
  我々は、ゼロリソース転送学習シナリオのための新しい教師なしデータ拡張フレームワークであるUXLAを提案する。 特に、UXLAは、ソース言語タスク分布から未知のターゲット言語タスク分布への言語間適応問題を解決することを目的としている。 UXLAはデータ拡張と教師なしサンプル選択を同時に行う。
  論文  参考訳（メタデータ） (2020-04-28T01:47:37Z)
• XGLUE: A New Benchmark Dataset for Cross-lingual Pre-training, Understanding and Generation [100.09099800591822]
  XGLUEは、大規模な言語間の事前トレーニングモデルのトレーニングに使用できる、新しいベンチマークデータセットである。 XGLUEは、自然言語理解と生成シナリオの両方をカバーする、11の多様化されたタスクを提供する。
  論文  参考訳（メタデータ） (2020-04-03T07:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。