Fugu-MT 論文翻訳(概要): The SelectGen Challenge: Finding the Best Training Samples for Few-Shot Neural Text Generation

論文の概要: The SelectGen Challenge: Finding the Best Training Samples for Few-Shot Neural Text Generation

arxiv url: http://arxiv.org/abs/2108.06614v1
Date: Sat, 14 Aug 2021 21:20:35 GMT
ステータス: 処理完了
システム内更新日: 2021-08-18 06:28:46.955114
Title: The SelectGen Challenge: Finding the Best Training Samples for Few-Shot Neural Text Generation
Title（参考訳）: SelectGen Challenge:Few-Shotニューラルテキスト生成のための最高のトレーニングサンプルを見つける
Authors: Ernie Chang, Xiaoyu Shen, Alex Marin, Vera Demberg
Abstract要約: 数ショットのニューラルテキスト生成のためのサンプル選択を学習するための共有タスクを提案する。選択戦略の研究は、(1)下流タスクでアノテーション予算を最大限に活用し、(2)より優れた数ショットテキスト生成モデルをベンチマークするのに役立ちます。
参考スコア（独自算出の注目度）: 11.534198637625208
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a shared task on training instance selection for few-shot neural text generation. Large-scale pretrained language models have led to dramatic improvements in few-shot text generation. Nonetheless, almost all previous work simply applies random sampling to select the few-shot training instances. Little to no attention has been paid to the selection strategies and how they would affect model performance. The study of the selection strategy can help us to (1) make the most use of our annotation budget in downstream tasks and (2) better benchmark few-shot text generative models. We welcome submissions that present their selection strategies and the effects on the generation quality.
Abstract（参考訳）: 数ショットのニューラルテキスト生成のための学習事例選択のための共有タスクを提案する。大規模な事前学習された言語モデルは、わずかなテキスト生成において劇的な改善をもたらした。それでも、ほとんどすべての以前の作業は、ごく少数のトレーニングインスタンスを選択するためにランダムサンプリングを適用するだけだ。選択戦略とそれがモデルのパフォーマンスにどのように影響するかにほとんど注意が払われていない。選択戦略の研究は、(1)下流タスクでアノテーション予算を最大限に活用し、(2)より優れた数ショットテキスト生成モデルをベンチマークするのに役立ちます。我々は,選択戦略と世代品質への影響を示す提案を歓迎する。

関連論文リスト

What Makes Good Few-shot Examples for Vision-Language Models? [29.620987070958318]
代表性(REPRE)とガウス的モンテカルロ(Montecarlo)の2つの革新的な選択方法を紹介する。その結果,REPREとモンテカルロは,ランダム選択とALベースの戦略の両方を,数ショットのトレーニングシナリオで大きく上回っていることがわかった。この研究は、これらのインスタンス選択法はモデルに依存しないものであり、幅広い数発の訓練手法に多彩な拡張をもたらすことを強調している。
論文参考訳（メタデータ） (2024-05-22T11:03:33Z)
Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文参考訳（メタデータ） (2024-02-27T14:16:19Z)
Skill-Based Few-Shot Selection for In-Context Learning [123.26522773708683]
Skill-KNNは、文脈内学習のためのスキルベースの少ショット選択手法である。モデルはトレーニングや微調整を必要とせず、頻繁に銀行を拡大したり変更したりするのに適している。 5つのドメイン間セマンティックパーシングデータセットと6つのバックボーンモデルによる実験結果から、Skill-KNNは既存の手法よりも大幅に優れていることが示された。
論文参考訳（メタデータ） (2023-05-23T16:28:29Z)
GENIUS: Sketch-based Language Model Pre-training via Extreme and Selective Masking for Text Generation and Augmentation [76.7772833556714]
本稿では,スケッチを入力として用いた条件付きテキスト生成モデルGENIUSを紹介する。 genIUSは、スケッチの目的から新しく再構築された大規模なテキストコーパスで事前訓練されている。様々な自然言語処理(NLP)タスクに対して, GENIUS は強力かつ使いやすいデータ拡張ツールとして利用できることを示す。
論文参考訳（メタデータ） (2022-11-18T16:39:45Z)
A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文参考訳（メタデータ） (2022-04-11T18:31:53Z)
Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
論文参考訳（メタデータ） (2022-01-27T15:29:30Z)
Budget-aware Few-shot Learning via Graph Convolutional Network [56.41899553037247]
本稿では,いくつかの例から新しい視覚概念を学習することを目的とした,数ショット学習の課題に取り組む。数ショット分類における一般的な問題設定は、データラベルの取得においてランダムサンプリング戦略を前提としている。そこで我々は,新しい対象カテゴリーの学習を目的とした,予算に配慮した数発の学習問題を新たに導入する。
論文参考訳（メタデータ） (2022-01-07T02:46:35Z)
LAFITE: Towards Language-Free Training for Text-to-Image Generation [83.2935513540494]
テキストデータなしでテキストから画像への生成モデルをトレーニングするための最初の作業を提案する。提案手法は,CLIPモデルのマルチモーダルなセマンティック空間の整合性を活用している。我々は,標準的なテキスト・画像生成タスクにおいて,最先端の結果を得る。
論文参考訳（メタデータ） (2021-11-27T01:54:45Z)
On Training Instance Selection for Few-Shot Neural Text Generation [9.37935464602938]
数ショットのニューラルテキスト生成におけるトレーニングインスタンスの選択について検討する。 K-meansクラスタリングによる単純な選択戦略を提案する。生成モデルは3つのテキスト生成タスクにおいてランダムサンプリングよりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2021-07-07T12:16:16Z)
Few-Shot Text Generation with Pattern-Exploiting Training [12.919486518128734]
本稿では,テキスト生成タスクにも基礎となるアイデアが適用可能であることを示す。最近提案された少数のショットアプローチであるPattern-Exploiting Training(PET)を、テキスト生成タスクで生成言語モデルを微調整するために適用します。
論文参考訳（メタデータ） (2020-12-22T10:53:07Z)
QURIOUS: Question Generation Pretraining for Text Generation [13.595014409069584]
本稿では,テキスト生成目標に適合する事前学習手法として質問生成を提案する。本手法で事前訓練したテキスト生成モデルは,入力の本質を理解するのが得意であり,目的タスクに適した言語モデルである。
論文参考訳（メタデータ） (2020-04-23T08:41:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。