論文の概要: Retrieval-Augmented Data Augmentation for Low-Resource Domain Tasks

• arxiv url: http://arxiv.org/abs/2402.13482v1
• Date: Wed, 21 Feb 2024 02:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 17:20:57.300278
• Title: Retrieval-Augmented Data Augmentation for Low-Resource Domain Tasks
• Title（参考訳）: 低リソース領域タスクのための検索データ拡張
• Authors: Minju Seo, Jinheon Baek, James Thorne, Sung Ju Hwang
• Abstract要約: 低リソース環境では、データ拡張に使用するシードデータサンプルの量は極めて少ない。 本稿では、他のデータセットから豊富なサンプルを組み込むことで、トレーニングデータを増強する新しい手法を提案する。 このアプローチは、生成されたデータが関連性だけでなく、限られたシードデータだけで達成できるものよりも多様であることを保証する。
• 参考スコア（独自算出の注目度）: 66.87070857705994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite large successes of recent language models on diverse tasks, they suffer from severe performance degeneration in low-resource settings with limited training data available. Many existing works tackle this problem by generating synthetic data from the training data and then training models on them, recently using Large Language Models (LLMs). However, in low-resource settings, the amount of seed data samples to use for data augmentation is very small, which makes generated samples suboptimal and less diverse. To tackle this challenge, we propose a novel method that augments training data by incorporating a wealth of examples from other datasets, along with the given training data. Specifically, we first retrieve the relevant instances from other datasets, such as their input-output pairs or contexts, based on their similarities with the given seed data, and then prompt LLMs to generate new samples with the contextual information within and across the original and retrieved samples. This approach can ensure that the generated data is not only relevant but also more diverse than what could be achieved using the limited seed data alone. We validate our proposed Retrieval-Augmented Data Augmentation (RADA) framework on multiple datasets under low-resource settings of training and test-time data augmentation scenarios, on which it outperforms existing LLM-powered data augmentation baselines.
• Abstract（参考訳）: 多様なタスクで最近の言語モデルが大きな成功を収めたものの、トレーニングデータに制限のある低リソース環境での深刻なパフォーマンス低下に苦しむ。 既存の多くの作業では、トレーニングデータから合成データを生成し、その上でモデルをトレーニングすることでこの問題に対処している。 しかし、低リソース環境では、データ拡張に使用するシードデータサンプルの量は極めて少なく、生成したサンプルの最適度が低く、多様性が低い。 そこで本研究では,与えられたトレーニングデータとともに,他のデータセットからの豊富なサンプルを組み込むことにより,トレーニングデータを強化する新しい手法を提案する。 具体的には、まず、与えられたシードデータと類似性に基づいて、入力出力ペアやコンテキストなどの他のデータセットから関連したインスタンスを検索し、その後、元のサンプルと検索されたサンプルの内外におけるコンテキスト情報を備えた新しいサンプルを生成するようにLCMに促す。 このアプローチは、生成されたデータが関連するだけでなく、限られたシードデータだけで達成できるものよりも多様であることを保証する。 我々は、トレーニングとテストタイムのデータ拡張シナリオの低リソース設定下で、複数のデータセット上で提案したRetrieval-Augmented Data Augmentation (RADA)フレームワークを検証する。

関連論文リスト

• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• FuseGen: PLM Fusion for Data-generation based Zero-shot Learning [18.51772808242954]
  FuseGenは、新しいデータ生成ベースのゼロショット学習フレームワークである。 合成データセットからのサブセット選択のための新しい基準を導入する。 選択されたサブセットは、各PLMに対してコンテキスト内フィードバックを提供し、データセットの品質を向上する。
  論文  参考訳（メタデータ） (2024-06-18T11:55:05Z)
• RECOST: External Knowledge Guided Data-efficient Instruction Tuning [25.985023475991625]
  我々は、現在のデータ効率のよい命令チューニング手法は、元の命令チューニングデータセットの品質に大きく依存していると論じる。 我々は、外部知識ベースの再評価と多様性に一貫性のあるサンプリングを単一のパイプラインに統合する、textbfRECOSTと呼ばれるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-27T09:47:36Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models [56.27786433792638]
  STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。 我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。 実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T12:15:19Z)
• ProGen: Progressive Zero-shot Dataset Generation via In-context Feedback [21.168991554983815]
  本稿では,プログレッシブなゼロショットデータセット生成フレームワークであるProGenを提案する。 ProGenは、1%の合成データセットサイズで、オンパーまたは優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-10-22T02:07:10Z)
• DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
  我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。 利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。 関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。