論文の概要: On Training Instance Selection for Few-Shot Neural Text Generation
- arxiv url: http://arxiv.org/abs/2107.03176v1
- Date: Wed, 7 Jul 2021 12:16:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-08 20:34:10.092666
- Title: On Training Instance Selection for Few-Shot Neural Text Generation
- Title（参考訳）: ファウショットニューラルテキスト生成のための学習事例選択について
- Authors: Ernie Chang, Xiaoyu Shen, Hui-Syuan Yeh, Vera Demberg
- Abstract要約: 数ショットのニューラルテキスト生成におけるトレーニングインスタンスの選択について検討する。
K-meansクラスタリングによる単純な選択戦略を提案する。
生成モデルは3つのテキスト生成タスクにおいてランダムサンプリングよりも一貫して優れていることを示す。
- 参考スコア（独自算出の注目度）: 9.37935464602938
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale pretrained language models have led to dramatic improvements in
text generation. Impressive performance can be achieved by finetuning only on a
small number of instances (few-shot setting). Nonetheless, almost all previous
work simply applies random sampling to select the few-shot training instances.
Little to no attention has been paid to the selection strategies and how they
would affect model performance. In this work, we present a study on training
instance selection in few-shot neural text generation. The selection decision
is made based only on the unlabeled data so as to identify the most worthwhile
data points that should be annotated under some budget of labeling cost. Based
on the intuition that the few-shot training instances should be diverse and
representative of the entire data distribution, we propose a simple selection
strategy with K-means clustering. We show that even with the naive
clustering-based approach, the generation models consistently outperform random
sampling on three text generation tasks: data-to-text generation, document
summarization and question generation. We hope that this work will call for
more attention on this largely unexplored area.
- Abstract（参考訳）: 大規模な事前学習された言語モデルは、テキスト生成の劇的な改善につながった。
印象的なパフォーマンスは、少数のインスタンス(フェウショット設定)でのみ微調整することで達成できます。
それでも、ほとんどすべての以前の作業は、ごく少数のトレーニングインスタンスを選択するためにランダムサンプリングを適用するだけだ。
選択戦略とそれがモデルのパフォーマンスにどのように影響するかにほとんど注意が払われていない。
本稿では,マイトショットニューラルテキスト生成におけるインスタンス選択のトレーニングについて検討する。
選択決定はラベル付きデータのみに基づいて行われ、ラベル付きコストの予算の下でアノテートすべき最も価値のあるデータポイントを特定する。
少数のトレーニングインスタンスは多種多様で、データ分散全体を表すべきだという直感に基づいて、k-meansクラスタリングを用いた簡単な選択戦略を提案する。
提案手法では,データ対テキスト生成,文書要約,質問生成という3つのテキスト生成タスクにおいて,生成モデルがランダムサンプリングを一貫して上回っていることを示す。
この取り組みが、このほとんど未調査領域にもっと注意を向けることを願っている。
関連論文リスト
- Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。
勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。
セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
論文 参考訳（メタデータ） (2024-10-14T15:48:09Z) - Target-Aware Language Modeling via Granular Data Sampling [25.957424920194914]
言語モデルの事前訓練は、一般的に幅広いユースケースをターゲットにし、多様なソースからのデータを取り込む。
コスト効率が高く簡単なアプローチは、低次元のデータ特徴をサンプリングすることである。
事前学習したモデルはRefinedWebの全データと同等に動作し、125Mから1.5Bまでのモデルサイズに対してランダムに選択されたサンプルより優れた性能を示す。
論文 参考訳（メタデータ） (2024-09-23T04:52:17Z) - Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。
本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文 参考訳（メタデータ） (2024-02-27T14:16:19Z) - Unsupervised Calibration through Prior Adaptation for Text
Classification using Large Language Models [37.39843935632105]
ラベル付きサンプルを必要とせずにテキスト分類タスクを実行するために,先行クラス分布に適応する手法を提案する。
その結果,これらの手法は,プロンプト内の訓練ショット数が異なる場合,適応しないモデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-07-13T12:11:36Z) - Meta-learning Pathologies from Radiology Reports using Variance Aware
Prototypical Networks [3.464871689508835]
本稿では,数ショットのテキスト分類のためのプロトタイプネットワークの簡易拡張を提案する。
我々の主な考えは、クラスプロトタイプをガウスに置き換え、サンプルを適切なクラスセントロイドの近くでクラスタ化することを奨励する正規化項を導入することである。
論文 参考訳（メタデータ） (2022-10-22T05:22:29Z) - Curriculum-Based Self-Training Makes Better Few-Shot Learners for
Data-to-Text Generation [56.98033565736974]
テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。
提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
論文 参考訳（メタデータ） (2022-06-06T16:11:58Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-04-11T18:31:53Z) - Budget-aware Few-shot Learning via Graph Convolutional Network [56.41899553037247]
本稿では,いくつかの例から新しい視覚概念を学習することを目的とした,数ショット学習の課題に取り組む。
数ショット分類における一般的な問題設定は、データラベルの取得においてランダムサンプリング戦略を前提としている。
そこで我々は,新しい対象カテゴリーの学習を目的とした,予算に配慮した数発の学習問題を新たに導入する。
論文 参考訳（メタデータ） (2022-01-07T02:46:35Z) - Towards General and Efficient Active Learning [20.888364610175987]
アクティブラーニングは、限られたアノテーション予算を利用するために最も有益なサンプルを選択することを目的としている。
本稿では,新しい汎用能動学習法(GEAL)を提案する。
提案手法は,同一モデルの単一パス推定を用いて,異なるデータセット上でデータ選択処理を行うことができる。
論文 参考訳（メタデータ） (2021-12-15T08:35:28Z) - The SelectGen Challenge: Finding the Best Training Samples for Few-Shot
Neural Text Generation [11.534198637625208]
数ショットのニューラルテキスト生成のためのサンプル選択を学習するための共有タスクを提案する。
選択戦略の研究は、(1)下流タスクでアノテーション予算を最大限に活用し、(2)より優れた数ショットテキスト生成モデルをベンチマークするのに役立ちます。
論文 参考訳（メタデータ） (2021-08-14T21:20:35Z) - KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。
我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。
ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
論文 参考訳（メタデータ） (2020-10-05T19:59:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。