論文の概要: Few-shot Adaptation Works with UnpredicTable Data

• arxiv url: http://arxiv.org/abs/2208.01009v1
• Date: Mon, 1 Aug 2022 17:35:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 12:42:07.227448
• Title: Few-shot Adaptation Works with UnpredicTable Data
• Title（参考訳）: Unpredictable データを用いたFew-shot Adaptation
• Authors: Jun Shern Chan, Michael Pieler, Jonathan Jao, J\'er\'emy Scheurer, Ethan Perez
• Abstract要約: 以前の研究は、多種多様なタスクに対するトレーニングが、新しいタスクに対する数発の学習を改善することを示している。 私たちはこれを極端に捉え、インターネットテーブルから413,299のタスクを自動的に抽出します。 私たちのデータセットの狭いサブセットは、時にはより多様なデータセットよりも優れています。
• 参考スコア（独自算出の注目度）: 3.6432753393079427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior work on language models (LMs) shows that training on a large number of diverse tasks improves few-shot learning (FSL) performance on new tasks. We take this to the extreme, automatically extracting 413,299 tasks from internet tables - orders of magnitude more than the next-largest public datasets. Finetuning on the resulting dataset leads to improved FSL performance on Natural Language Processing (NLP) tasks, but not proportionally to dataset scale. In fact, we find that narrow subsets of our dataset sometimes outperform more diverse datasets. For example, finetuning on software documentation from support.google.com raises FSL performance by a mean of +7.5% on 52 downstream tasks, which beats training on 40 human-curated NLP datasets (+6.7%). Finetuning on various narrow datasets leads to similar broad improvements across test tasks, suggesting that the gains are not from domain adaptation but adapting to FSL in general. We do not observe clear patterns between the datasets that lead to FSL gains, leaving open questions about why certain data helps with FSL.
• Abstract（参考訳）: 言語モデル(LM)に関する以前の研究は、多種多様なタスクのトレーニングが、新しいタスクにおける数ショット学習(FSL)のパフォーマンスを改善することを示している。 私たちはこれを極端なものにし、インターネットテーブルから413,299のタスクを自動的に抽出します。 結果のデータセットを微調整すると、自然言語処理(NLP)タスクにおけるFSLのパフォーマンスが向上するが、データセットスケールに比例しない。 実際、データセットの狭いサブセットは、しばしばより多様なデータセットよりも優れています。 例えば、support.google.comによるソフトウェアドキュメンテーションの微調整では、52の下流タスクで平均+7.5%の性能が向上し、40のNLPデータセット(+6.7%)のトレーニングに勝っている。 様々な狭いデータセットを微調整すると、テストタスク全体でも同様に広範囲に改善され、ドメイン適応からではなく、一般にFSLに適応することが示唆される。 fsl向上につながるデータセット間の明確なパターンを観察しておらず、特定のデータがfslになぜ役立つのかという疑問が残されている。

関連論文リスト

• Federated Data-Efficient Instruction Tuning for Large Language Models [34.35613476734293]
  大規模言語モデルのためのフェデレーションデータ効率インストラクションチューニングであるFedHDSについて述べる。 これにより、クライアント内およびクライアント間レベルでのデータサンプルの冗長性が低下する。 実験により、FedHDSは微調整に必要なデータ量を著しく削減し、命令調整LDMの応答性を改善した。
  論文  参考訳（メタデータ） (2024-10-14T15:05:51Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• TAIA: Large Language Models are Out-of-Distribution Data Learners [30.57872423927015]
  効果的な推論時間介入手法を提案する:全てのパラメータを訓練するが、注意のみで推論する(trainallInfAttn)。 trainallInfAttnは、ほとんどのシナリオで完全に調整されたモデルとベースモデルの両方と比較して、優れた改善を実現している。 trainallInfAttnのデータのミスマッチに対する高い耐性は、jailbreakのチューニングに耐性を持ち、一般的なデータを使った特別なタスクを強化する。
  論文  参考訳（メタデータ） (2024-05-30T15:57:19Z)
• Better Synthetic Data by Retrieving and Transforming Existing Datasets [63.875064274379824]
  我々は、データセットの自動生成を改善するために、公開データセットをよりよく利用する方法であるDataTuneを紹介した。 多様な言語ベースのタスクセットでは、DataTuneによる微調整言語モデルが改善され、ベースラインが49%向上する。 データセット変換は、多くのタスクにおいて生成されたデータの多様性と難易度を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-22T17:15:32Z)
• On Pretraining Data Diversity for Self-Supervised Learning [57.91495006862553]
  我々は、より多様なデータセットを用いたトレーニングが、固定された計算予算の下での自己教師付き学習(SSL)のパフォーマンスに与える影響について検討する。 以上の結果から,事前学習データの多様性の増大はSSL性能を向上させるが,下流データへの分布距離が最小である場合に限る。
  論文  参考訳（メタデータ） (2024-03-20T17:59:58Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
  そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。 新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能 我々は,我々のモデルの有効性を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-01-06T08:42:05Z)
• Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining Paradigms [36.04356511882304]
  自己教師付き学習(SSL)は、幅広いアプリケーションで有望な結果を示している。 データとタスクの性質について明確な理解が得られていないため、一方のアプローチがもう一方よりも優れている。
  論文  参考訳（メタデータ） (2020-06-19T05:21:00Z)
• TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
  本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
  論文  参考訳（メタデータ） (2020-03-14T16:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。