論文の概要: Few-shot Adaptation Works with UnpredicTable Data
- arxiv url: http://arxiv.org/abs/2208.01009v1
- Date: Mon, 1 Aug 2022 17:35:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 12:42:07.227448
- Title: Few-shot Adaptation Works with UnpredicTable Data
- Title(参考訳): Unpredictable データを用いたFew-shot Adaptation
- Authors: Jun Shern Chan, Michael Pieler, Jonathan Jao, J\'er\'emy Scheurer,
Ethan Perez
- Abstract要約: 以前の研究は、多種多様なタスクに対するトレーニングが、新しいタスクに対する数発の学習を改善することを示している。
私たちはこれを極端に捉え、インターネットテーブルから413,299のタスクを自動的に抽出します。
私たちのデータセットの狭いサブセットは、時にはより多様なデータセットよりも優れています。
- 参考スコア(独自算出の注目度): 3.6432753393079427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prior work on language models (LMs) shows that training on a large number of
diverse tasks improves few-shot learning (FSL) performance on new tasks. We
take this to the extreme, automatically extracting 413,299 tasks from internet
tables - orders of magnitude more than the next-largest public datasets.
Finetuning on the resulting dataset leads to improved FSL performance on
Natural Language Processing (NLP) tasks, but not proportionally to dataset
scale. In fact, we find that narrow subsets of our dataset sometimes outperform
more diverse datasets. For example, finetuning on software documentation from
support.google.com raises FSL performance by a mean of +7.5% on 52 downstream
tasks, which beats training on 40 human-curated NLP datasets (+6.7%).
Finetuning on various narrow datasets leads to similar broad improvements
across test tasks, suggesting that the gains are not from domain adaptation but
adapting to FSL in general. We do not observe clear patterns between the
datasets that lead to FSL gains, leaving open questions about why certain data
helps with FSL.
- Abstract(参考訳): 言語モデル(LM)に関する以前の研究は、多種多様なタスクのトレーニングが、新しいタスクにおける数ショット学習(FSL)のパフォーマンスを改善することを示している。
私たちはこれを極端なものにし、インターネットテーブルから413,299のタスクを自動的に抽出します。
結果のデータセットを微調整すると、自然言語処理(NLP)タスクにおけるFSLのパフォーマンスが向上するが、データセットスケールに比例しない。
実際、データセットの狭いサブセットは、しばしばより多様なデータセットよりも優れています。
例えば、support.google.comによるソフトウェアドキュメンテーションの微調整では、52の下流タスクで平均+7.5%の性能が向上し、40のNLPデータセット(+6.7%)のトレーニングに勝っている。
様々な狭いデータセットを微調整すると、テストタスク全体でも同様に広範囲に改善され、ドメイン適応からではなく、一般にFSLに適応することが示唆される。
fsl向上につながるデータセット間の明確なパターンを観察しておらず、特定のデータがfslになぜ役立つのかという疑問が残されている。
関連論文リスト
- Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳(メタデータ) (2023-11-20T14:50:12Z) - Data Filtering Networks [67.827994353269]
本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。
我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。
我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
論文 参考訳(メタデータ) (2023-09-29T17:37:29Z) - Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。
新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能
我々は,我々のモデルの有効性を示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-01-06T08:42:05Z) - PyTAIL: Interactive and Incremental Learning of NLP Models with Human in
the Loop for Online Data [1.576409420083207]
PyTAILは、人間のループアプローチでNLPモデルを積極的に訓練できるピソンライブラリである。
テキスト分類のための既存のソーシャルメディアベンチマークデータセット上でのPyTAILの性能をシミュレートする。
論文 参考訳(メタデータ) (2022-11-24T20:08:15Z) - DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
論文 参考訳(メタデータ) (2022-03-17T02:38:49Z) - Self-Supervised Pre-Training for Transformer-Based Person
Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する
ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。
この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文 参考訳(メタデータ) (2021-11-23T18:59:08Z) - Bridging Few-Shot Learning and Adaptation: New Challenges of
Support-Query Shift [4.374837991804085]
わずかなラベル付きデータで新しい概念を学習するアルゴリズムはほとんどない。
テスト時に遭遇した新しいクラスからクエリインスタンスを分類するには、いくつかのラベル付きサンプルからなるサポートセットが必要である。
現実的なセットティングでは、データ分散は、少なくとも変化の対象であり、分散シフト(DS)と呼ばれる状況である。
論文 参考訳(メタデータ) (2021-05-25T10:10:09Z) - Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining
Paradigms [36.04356511882304]
自己教師付き学習(SSL)は、幅広いアプリケーションで有望な結果を示している。
データとタスクの性質について明確な理解が得られていないため、一方のアプローチがもう一方よりも優れている。
論文 参考訳(メタデータ) (2020-06-19T05:21:00Z) - Learning across label confidence distributions using Filtered Transfer
Learning [0.44040106718326594]
本稿では,大きな可変信頼度データセットを持つノイズの多いデータシステムにおいて,予測能力を向上させるための伝達学習手法を提案する。
本稿では、複数の階層のデータ信頼度を個別のタスクとして定義する、FTL(Filted Transfer Learning)と呼ばれるディープニューラルネットワーク手法を提案する。
FTLを用いてラベル信頼度分布を段階的に学習すると、単一の信頼範囲でトレーニングされたディープニューラルネットワークモデルよりも高いパフォーマンスが得られることを示す。
論文 参考訳(メタデータ) (2020-06-03T21:00:11Z) - TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot
classification [50.358839666165764]
本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。
具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
論文 参考訳(メタデータ) (2020-03-14T16:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。