論文の概要: True Few-Shot Learning with Prompts -- A Real-World Perspective

• arxiv url: http://arxiv.org/abs/2111.13440v1
• Date: Fri, 26 Nov 2021 11:49:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 16:02:45.783464
• Title: True Few-Shot Learning with Prompts -- A Real-World Perspective
• Title（参考訳）: プロンプトによる真の少数ショット学習 -- 現実世界の視点
• Authors: Timo Schick and Hinrich Sch\"utze
• Abstract要約: PETは、テキスト命令とサンプルベースの微調整を組み合わせた手法である。 正しく設定された場合、PETは、開発セットなしで、真の数ショット設定で強く機能することを示す。 そこで本研究では,現実的な NLP アプリケーションから直接取得したタスクのベンチマークである RAFT 上で PET を動作させることにより,実世界のテストに適用した。
• 参考スコア（独自算出の注目度）: 12.919486518128734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt-based approaches are strong at few-shot learning. However, Perez et al. (2021) have recently cast doubt on their performance because they had difficulty getting good results in a "true" few-shot setting in which prompts and hyperparameters cannot be tuned on a dev set. In view of this, we conduct an extensive study of PET, a method that combines textual instructions with example-based finetuning. We show that, if correctly configured, PET performs strongly in a true few-shot setting, i.e., without a dev set. Crucial for this strong performance is PET's ability to intelligently handle multiple prompts. We then put our findings to a real-world test by running PET on RAFT, a benchmark of tasks taken directly from realistic NLP applications for which no labeled dev or test sets are available. PET achieves a new state of the art on RAFT and performs close to non-expert humans for 7 out of 11 tasks. These results demonstrate that prompt-based learners like PET excel at true few-shot learning and underpin our belief that learning from instructions will play an important role on the path towards human-like few-shot learning capabilities.
• Abstract（参考訳）: プロンプトベースのアプローチは、数発の学習で強い。 しかしながら、perezら(2021年)は最近、プロンプトとハイパーパラメータを開発セットでチューニングできない"真の"少数ショット設定で良い結果を得るのに苦労しているため、パフォーマンスに疑問を投げかけている。 そこで本研究では,テキスト命令と実例に基づく微調整を併用したpetを広範囲に検討した。 正しく設定された場合、PETは開発セットなしで、真の数ショット設定で強く機能することを示す。 この強力な性能のために重要なのは、PETが複数のプロンプトをインテリジェントに扱う能力である。 これは、ラベル付き開発やテストセットが使用できない現実的なNLPアプリケーションから直接取得したタスクのベンチマークです。 PETはRAFTで新しい最先端の技術を達成し、11タスク中7タスクで熟練していない人間に近づきます。 これらの結果は,PETのような素早い学習者が真に数発の学習に優れており,人間のような数発の学習能力への道のりにおいて,指示からの学習が重要な役割を果たすという私たちの信念を支えていることを示している。

関連論文リスト

• HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning [55.88910947643436]
  予備学習モデル(PTM)とパラメータ効率チューニング(PET)を組み合わせた連続学習(CL)統合フレームワークを提案する。 タスク固有知識とタスク共有知識を取り入れることで目的を明示的に最適化する革新的な手法である階層分解PET(HiDe-PET)を提案する。 提案手法は,近年の強いベースラインの幅広いスペクトルに対して,極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-07T01:50:25Z)
• Few-shot learning for sentence pair classification and its applications in software engineering [0.36832029288386137]
  本研究は、BERTベースのモデルを用いた代替的な数ショット学習手法の性能について検討する。 バニラファインチューニング、PET、SetFitは、トレーニングセットサイズの配列に対して、BERTベースの多数のチェックポイントと比較される。 結果から,PETは強力な数発学習手法として確立し,数百のラベル付きサンプルを用いて,フルサイズのデータセットの微調整に近い性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-06-13T18:23:52Z)
• A Unified Continual Learning Framework with General Parameter-Efficient Tuning [56.250772378174446]
  「事前学習$rightarrow$ダウンストリーム適応」は、継続学習の新しい機会と課題を提示する。 我々は,PETの1つのインスタンス化としてプロンプトを位置づけ,ラーニング・アキュミュレーション・アンサンブル(LAE)と呼ばれる統一的なCLフレームワークを提案する。 PET(Adapter、LoRA、Prefixなど)は、トレーニング済みのモデルをより少ないパラメータとリソースで下流のタスクに適応させることができる。
  論文  参考訳（メタデータ） (2023-03-17T15:52:45Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
  PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-04-03T22:31:25Z)
• FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark [8.158067688043554]
  この研究は、中国初の総合的な小サンプル評価ベンチマークである中国語 Few-shot Learning Evaluation Benchmark (FewCLUE) を紹介した。 1つのタスクに最大2万のサンプルを追加するラベルなしのトレーニングが提供され、ラベルなしのサンプルを使用する方法を改善することができる。 次に、最先端の複数ショット学習手法を実装し、その性能をFewCLUEベンチマークの微調整およびゼロショット学習方式と比較する。
  論文  参考訳（メタデータ） (2021-07-15T17:51:25Z)
• Improving and Simplifying Pattern Exploiting Training [81.77863825517511]
  Pattern Exploiting Training (PET)は、数発学習にパターンを利用する最近のアプローチである。 本稿では,未ラベルデータのないショットラーニングに焦点をあて,ADAPETを導入する。 ADAPETは、タスク固有のラベルなしデータなしでSuperGLUE上のPETより優れています。
  論文  参考訳（メタデータ） (2021-03-22T15:52:45Z)
• Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference [14.264737570114631]
  Pattern-Exploiting Training (PET)は、入力例をクローゼスタイルのフレーズとして再構成し、言語モデルが与えられたタスクを理解するのに役立つ半教師付きトレーニング手順である。 PETは、低リソース環境における教師付きトレーニングと強力な半教師付きアプローチを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2020-01-21T17:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。