論文の概要: GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation

• arxiv url: http://arxiv.org/abs/2104.08826v1
• Date: Sun, 18 Apr 2021 11:39:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-21 12:59:28.834261
• Title: GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation
• Title（参考訳）: gpt3mix: テキスト拡張に大規模言語モデルを活用する
• Authors: Kang Min Yoo, Dongju Park, Jaewook Kang, Sang-Woo Lee, Woomyeong Park
• Abstract要約: GPT-3のような大規模言語モデルは優れた数ショット学習者であり、自然なテキストプロンプトで制御できる。 本稿では,大規模言語モデルを用いて現実的なテキストサンプルを生成する新しいデータ拡張手法を提案する。
• 参考スコア（独自算出の注目度）: 9.501648136713694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale language models such as GPT-3 are excellent few-shot learners, allowing them to be controlled via natural text prompts. Recent studies report that prompt-based direct classification eliminates the need for fine-tuning but lacks data and inference scalability. This paper proposes a novel data augmentation technique that leverages large-scale language models to generate realistic text samples from a mixture of real samples. We also propose utilizing soft-labels predicted by the language models, effectively distilling knowledge from the large-scale language models and creating textual perturbations simultaneously. We perform data augmentation experiments on diverse classification tasks and show that our method hugely outperforms existing text augmentation methods. Ablation studies and a qualitative analysis provide more insights into our approach.
• Abstract（参考訳）: GPT-3のような大規模言語モデルは優れた数ショット学習者であり、自然なテキストプロンプトで制御できる。 近年の研究では、直接分類により微調整の必要性は排除されるが、データや推論のスケーラビリティは欠如している。 本稿では,実サンプルの混合から実文サンプルを生成するために,大規模言語モデルを活用した新しいデータ拡張手法を提案する。 また,言語モデルによって予測されるソフトラベルを活用し,大規模言語モデルから知識を効果的に抽出し,テキストの摂動を同時に生成する手法を提案する。 多様な分類タスクでデータ拡張実験を行い,提案手法が既存のテキスト拡張手法を大きく上回ることを示す。 アブレーション研究と質的分析は、我々のアプローチに対するさらなる洞察を与えてくれる。

関連論文リスト

• Instruction Data Generation and Unsupervised Adaptation for Speech Language Models [21.56355461403427]
  本稿では,多モーダル大規模言語モデルの訓練と評価を行うために,合成サンプルを生成する3つの方法を提案する。 このようなシステムの性能を高めるための重要な戦略として、合成データ生成が出現する。 我々は、未ラベルの音声データを用いて、利用可能な書き起こしに匹敵する品質の合成サンプルを生成する可能性を強調した。
  論文  参考訳（メタデータ） (2024-06-18T08:27:00Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• A Comparative Analysis of Conversational Large Language Models in Knowledge-Based Text Generation [5.661396828160973]
  本研究では,意味的三重項から自然言語文を生成する際に,対話型大規模言語モデルの実証分析を行う。 我々は、異なるプロンプト技術を用いて、異なる大きさの4つの大きな言語モデルを比較する。 この結果から,三重動詞化における大規模言語モデルの能力は,数発のプロンプト,後処理,効率的な微調整技術によって著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-02-02T15:26:39Z)
• Let the Pretrained Language Models "Imagine" for Short Texts Topic Modeling [29.87929724277381]
  短いテキストでは、共起情報は最小限であり、結果として文書表現の特徴が分散する。 既存のトピックモデル(確率的あるいは神経的)は、ほとんどの場合、一貫性のあるトピックを生成するためにパターンのマイニングに失敗します。 既存の事前学習言語モデル(PLM)を用いて、短いテキストを長いシーケンスに拡張する。
  論文  参考訳（メタデータ） (2023-10-24T00:23:30Z)
• LM-CPPF: Paraphrasing-Guided Data Augmentation for Contrastive Prompt-Based Few-Shot Fine-Tuning [7.543506531838883]
  本稿では,言語モデルの微調整手法であるLM-CPPFを提案する。 複数のテキスト分類ベンチマーク実験により, この拡張法が他の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-29T15:59:51Z)
• AugGPT: Leveraging ChatGPT for Text Data Augmentation [59.76140039943385]
  本稿では,ChatGPT(AugGPT)に基づくテキストデータ拡張手法を提案する。 AugGPTはトレーニングサンプルの各文を、概念的には似ているが意味的に異なる複数のサンプルに言い換える。 数ショットの学習テキスト分類タスクの実験結果は、提案したAugGPTアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2023-02-25T06:58:16Z)
• Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
  本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。 単言語,多言語,言語横断の3種類の実験を行った。 本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
  論文  参考訳（メタデータ） (2022-04-19T16:23:07Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
  GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。 このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。 本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:23:05Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。