論文の概要: Few-shot Adaptation Works with UnpredicTable Data
- arxiv url: http://arxiv.org/abs/2208.01009v1
- Date: Mon, 1 Aug 2022 17:35:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 12:42:07.227448
- Title: Few-shot Adaptation Works with UnpredicTable Data
- Title(参考訳): Unpredictable データを用いたFew-shot Adaptation
- Authors: Jun Shern Chan, Michael Pieler, Jonathan Jao, J\'er\'emy Scheurer,
Ethan Perez
- Abstract要約: 以前の研究は、多種多様なタスクに対するトレーニングが、新しいタスクに対する数発の学習を改善することを示している。
私たちはこれを極端に捉え、インターネットテーブルから413,299のタスクを自動的に抽出します。
私たちのデータセットの狭いサブセットは、時にはより多様なデータセットよりも優れています。
- 参考スコア(独自算出の注目度): 3.6432753393079427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prior work on language models (LMs) shows that training on a large number of
diverse tasks improves few-shot learning (FSL) performance on new tasks. We
take this to the extreme, automatically extracting 413,299 tasks from internet
tables - orders of magnitude more than the next-largest public datasets.
Finetuning on the resulting dataset leads to improved FSL performance on
Natural Language Processing (NLP) tasks, but not proportionally to dataset
scale. In fact, we find that narrow subsets of our dataset sometimes outperform
more diverse datasets. For example, finetuning on software documentation from
support.google.com raises FSL performance by a mean of +7.5% on 52 downstream
tasks, which beats training on 40 human-curated NLP datasets (+6.7%).
Finetuning on various narrow datasets leads to similar broad improvements
across test tasks, suggesting that the gains are not from domain adaptation but
adapting to FSL in general. We do not observe clear patterns between the
datasets that lead to FSL gains, leaving open questions about why certain data
helps with FSL.
- Abstract(参考訳): 言語モデル(LM)に関する以前の研究は、多種多様なタスクのトレーニングが、新しいタスクにおける数ショット学習(FSL)のパフォーマンスを改善することを示している。
私たちはこれを極端なものにし、インターネットテーブルから413,299のタスクを自動的に抽出します。
結果のデータセットを微調整すると、自然言語処理(NLP)タスクにおけるFSLのパフォーマンスが向上するが、データセットスケールに比例しない。
実際、データセットの狭いサブセットは、しばしばより多様なデータセットよりも優れています。
例えば、support.google.comによるソフトウェアドキュメンテーションの微調整では、52の下流タスクで平均+7.5%の性能が向上し、40のNLPデータセット(+6.7%)のトレーニングに勝っている。
様々な狭いデータセットを微調整すると、テストタスク全体でも同様に広範囲に改善され、ドメイン適応からではなく、一般にFSLに適応することが示唆される。
fsl向上につながるデータセット間の明確なパターンを観察しておらず、特定のデータがfslになぜ役立つのかという疑問が残されている。
関連論文リスト
- SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳(メタデータ) (2024-07-16T04:41:58Z) - Better Synthetic Data by Retrieving and Transforming Existing Datasets [63.875064274379824]
我々は、データセットの自動生成を改善するために、公開データセットをよりよく利用する方法であるDataTuneを紹介した。
多様な言語ベースのタスクセットでは、DataTuneによる微調整言語モデルが改善され、ベースラインが49%向上する。
データセット変換は、多くのタスクにおいて生成されたデータの多様性と難易度を著しく向上させる。
論文 参考訳(メタデータ) (2024-04-22T17:15:32Z) - Elephants Never Forget: Memorization and Learning of Tabular Data in Large Language Models [21.10890310571397]
トレーニング中に、言語モデルがデータセットを見たかどうかを評価するために、さまざまなテクニックを導入します。
トレーニング中に見られたデータセット上でのLLMの数発の学習性能と、トレーニング後にリリースされたデータセットのパフォーマンスを比較した。
LLMはトレーニング中に見られるデータセットよりも優れており、記憶が過度に適合することを示している。
論文 参考訳(メタデータ) (2024-04-09T10:58:21Z) - On Pretraining Data Diversity for Self-Supervised Learning [57.91495006862553]
我々は、より多様なデータセットを用いたトレーニングが、固定された計算予算の下での自己教師付き学習(SSL)のパフォーマンスに与える影響について検討する。
以上の結果から,事前学習データの多様性の増大はSSL性能を向上させるが,下流データへの分布距離が最小である場合に限る。
論文 参考訳(メタデータ) (2024-03-20T17:59:58Z) - Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳(メタデータ) (2023-11-20T14:50:12Z) - Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。
新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能
我々は,我々のモデルの有効性を示す広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-01-06T08:42:05Z) - PyTAIL: Interactive and Incremental Learning of NLP Models with Human in
the Loop for Online Data [1.576409420083207]
PyTAILは、人間のループアプローチでNLPモデルを積極的に訓練できるピソンライブラリである。
テキスト分類のための既存のソーシャルメディアベンチマークデータセット上でのPyTAILの性能をシミュレートする。
論文 参考訳(メタデータ) (2022-11-24T20:08:15Z) - Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining
Paradigms [36.04356511882304]
自己教師付き学習(SSL)は、幅広いアプリケーションで有望な結果を示している。
データとタスクの性質について明確な理解が得られていないため、一方のアプローチがもう一方よりも優れている。
論文 参考訳(メタデータ) (2020-06-19T05:21:00Z) - TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot
classification [50.358839666165764]
本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。
具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
論文 参考訳(メタデータ) (2020-03-14T16:59:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。