論文の概要: Cutting Down on Prompts and Parameters: Simple Few-Shot Learning with Language Models

• arxiv url: http://arxiv.org/abs/2106.13353v1
• Date: Thu, 24 Jun 2021 23:38:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-28 13:19:13.665293
• Title: Cutting Down on Prompts and Parameters: Simple Few-Shot Learning with Language Models
• Title（参考訳）: プロンプトとパラメータの削減: 言語モデルによる簡単な少数ショット学習
• Authors: Robert L. Logan IV, Ivana Bala\v{z}evi\'c, Eric Wallace, Fabio Petroni, Sameer Singh, Sebastian Riedel
• Abstract要約: 訓練例やタスク記述を伴う微調整言語モデル(LM)は、最近の数発の学習の成功に欠かせないものと見なされている。 数ショット設定で微調整されたLMは、迅速なエンジニアリングの必要性を著しく低減できることを示す。
• 参考スコア（独自算出の注目度）: 48.0311578882384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompting language models (LMs) with training examples and task descriptions has been seen as critical to recent successes in few-shot learning. In this work, we show that finetuning LMs in the few-shot setting can considerably reduce the need for prompt engineering. In fact, one can use null prompts, prompts that contain neither task-specific templates nor training examples, and achieve competitive accuracy to manually-tuned prompts across a wide range of tasks. While finetuning LMs does introduce new parameters for each downstream task, we show that this memory overhead can be substantially reduced: finetuning only the bias terms can achieve comparable or better accuracy than standard finetuning while only updating 0.1% of the parameters. All in all, we recommend finetuning LMs for few-shot learning as it is more accurate, robust to different prompts, and can be made nearly as efficient as using frozen LMs.
• Abstract（参考訳）: トレーニング例やタスク記述を伴う言語モデル(LM)のプロンプティングは、最近の数ショット学習の成功に不可欠であると考えられている。 そこで本研究では,数ショット設定での微調整により,プロンプトエンジニアリングの必要性を大幅に低減できることを示す。 実際、nullプロンプトは、タスク固有のテンプレートもトレーニング例も含まないプロンプトであり、広範囲のタスクで手動で調整されたプロンプトの競合精度を達成することができる。 lmsの微調整は、下流タスク毎に新しいパラメータを導入するが、このメモリオーバーヘッドは大幅に削減できる。 バイアス項のみの微調整は、標準の微調整と同等または優れた精度を達成でき、パラメータの0.1%を更新できる。 全体としては、より正確で、異なるプロンプトに対して堅牢であり、凍結したLMと同じくらい効率的にできるため、数ショット学習のための微調整を推奨する。

関連論文リスト

• Steering Large Language Models for Machine Translation with Finetuning and In-Context Learning [19.290966101497844]
  大規模言語モデル(LLMs)は機械翻訳(MT)のための有望な道である それらの効果は、少数ショットの例の選択に大きく依存しており、しばしば過剰発生のために余分な後処理を必要とする。 また,LoRAを用いたアダプタベースファインタニングは従来のファインタニング性能と一致し,トレーニングパラメータの数を50。
  論文  参考訳（メタデータ） (2023-10-20T12:29:51Z)
• PALT: Parameter-Lite Transfer of Language Models for Knowledge Graph Completion [108.8941541255567]
  本稿では,知識グラフ(KG)完成のための事前学習言語モデル(LM)のパラメータ・ライト変換学習手法を提案する。 全てのLMパラメータを微調整する代わりに、元のLMパラメータを固定しながら、いくつかの新しいパラメータを調整します。 本研究は,マイクロチューニングよりもはるかに少ないパラメータをチューニングすることにより,ほとんどのタスクに非自明に伝達し,従来の最先端手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-10-25T02:22:29Z)
• Continued Pretraining for Better Zero- and Few-Shot Promptability [44.381944544918014]
  マルチタスク学習中にトレーニング可能なプロンプトを組み込んだ簡単な事前学習により,ゼロショットと少数ショットの両方でプロンプト性が向上することを示す。 一方,MAML方式のメタラーニングによる事前学習は,プロンプトの少ないプロンプト性を直接最適化する手法であり,サブパー性能が向上する。
  論文  参考訳（メタデータ） (2022-10-19T02:41:51Z)
• STT: Soft Template Tuning for Few-Shot Adaptation [72.46535261444151]
  我々は、Soft Template Tuning (STT)と呼ばれる新しいプロンプトチューニングフレームワークを提案する。 STTは手動と自動プロンプトを組み合わせて、下流の分類タスクをマスキング言語モデリングタスクとして扱う。 さらに、感情分類タスクにおいて、時間とリソースを消費する微調整方法よりも優れています。
  論文  参考訳（メタデータ） (2022-07-18T07:07:22Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
  PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-04-03T22:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。