論文の概要: Improving and Simplifying Pattern Exploiting Training

• arxiv url: http://arxiv.org/abs/2103.11955v1
• Date: Mon, 22 Mar 2021 15:52:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 15:05:40.694805
• Title: Improving and Simplifying Pattern Exploiting Training
• Title（参考訳）: パターンエクスプロイトトレーニングの改善と簡易化
• Authors: Derek Tam, Rakesh R Menon, Mohit Bansal, Shashank Srivastava, Colin Raffel
• Abstract要約: Pattern Exploiting Training (PET)は、数発学習にパターンを利用する最近のアプローチである。 本稿では,未ラベルデータのないショットラーニングに焦点をあて,ADAPETを導入する。 ADAPETは、タスク固有のラベルなしデータなしでSuperGLUE上のPETより優れています。
• 参考スコア（独自算出の注目度）: 81.77863825517511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, pre-trained language models (LMs) have achieved strong performance when fine-tuned on difficult benchmarks like SuperGLUE. However, performance can suffer when there are very few labeled examples available for fine-tuning. Pattern Exploiting Training (PET) is a recent approach that leverages patterns for few-shot learning. However, PET uses task-specific unlabeled data. In this paper, we focus on few shot learning without any unlabeled data and introduce ADAPET, which modifies PET's objective to provide denser supervision during fine-tuning. As a result, ADAPET outperforms PET on SuperGLUE without any task-specific unlabeled data. Our code can be found at https://github.com/rrmenon10/ADAPET.
• Abstract（参考訳）: 近年,SuperGLUEのような複雑なベンチマークを微調整することで,事前学習型言語モデル(LM)の性能が向上している。 しかし、微調整用のラベル付き例がほとんどない場合にはパフォーマンスが損なわれる可能性がある。 Pattern Exploiting Training (PET)は、数発の学習にパターンを活用する最近のアプローチである。 しかしPETはタスク固有の未ラベルデータを使用する。 本稿では,未ラベルデータのないショットラーニングに焦点をあて,微調整時により厳密な監視を提供するPETの目的を改良したADAPETを導入する。 その結果、ADAPETはタスク固有の未ラベルデータなしで、SuperGLUE上でPETより優れている。 私たちのコードはhttps://github.com/rrmenon10/ADAPETで参照できます。

関連論文リスト

• Data Diet: Can Trimming PET/CT Datasets Enhance Lesion Segmentation? [70.38903555729081]
  我々はAutoPET3データ中心のトラックで競合するアプローチについて述べる。 AutoPETIIIデータセットでは、データセット全体をトレーニングしたモデルが望ましくない特性を示す。 我々は、スクラッチから再トレーニングする前に、モデル損失によって測定されたトレーニングデータセットから最も簡単なサンプルを取り除き、これを対処する。
  論文  参考訳（メタデータ） (2024-09-20T14:47:58Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• ConPET: Continual Parameter-Efficient Tuning for Large Language Models [65.48107393731861]
  継続的な学習には、新しいタスクへのモデルの継続的な適応が必要である。 継続性を提案する。 効率的なチューニング(ConPET) - 一般化可能なパラダイム。 大規模言語モデルの連続的なタスク適応。
  論文  参考訳（メタデータ） (2023-09-26T08:52:04Z)
• Few-shot learning for sentence pair classification and its applications in software engineering [0.36832029288386137]
  本研究は、BERTベースのモデルを用いた代替的な数ショット学習手法の性能について検討する。 バニラファインチューニング、PET、SetFitは、トレーニングセットサイズの配列に対して、BERTベースの多数のチェックポイントと比較される。 結果から,PETは強力な数発学習手法として確立し,数百のラベル付きサンプルを用いて,フルサイズのデータセットの微調整に近い性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-06-13T18:23:52Z)
• Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
  大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:10:54Z)
• A Unified Continual Learning Framework with General Parameter-Efficient Tuning [56.250772378174446]
  「事前学習$rightarrow$ダウンストリーム適応」は、継続学習の新しい機会と課題を提示する。 我々は,PETの1つのインスタンス化としてプロンプトを位置づけ,ラーニング・アキュミュレーション・アンサンブル(LAE)と呼ばれる統一的なCLフレームワークを提案する。 PET(Adapter、LoRA、Prefixなど)は、トレーニング済みのモデルをより少ないパラメータとリソースで下流のタスクに適応させることができる。
  論文  参考訳（メタデータ） (2023-03-17T15:52:45Z)
• Active PETs: Active Data Annotation Prioritisation for Few-Shot Claim Verification with Pattern Exploiting Training [21.842139093124512]
  アクティブPET(Active PETs)は、アノテーションの候補として非ラベルのデータを積極的に選択する重み付きアプローチである。 データ選択にActive PETを使用すると、最先端のアクティブな学習方法よりも一貫した改善が見られた。 提案手法により,ラベル付きデータの少ないインスタンスを効果的に選択することが可能となる。
  論文  参考訳（メタデータ） (2022-08-18T10:11:36Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• True Few-Shot Learning with Prompts -- A Real-World Perspective [12.919486518128734]
  PETは、テキスト命令とサンプルベースの微調整を組み合わせた手法である。 正しく設定された場合、PETは、開発セットなしで、真の数ショット設定で強く機能することを示す。 そこで本研究では,現実的な NLP アプリケーションから直接取得したタスクのベンチマークである RAFT 上で PET を動作させることにより,実世界のテストに適用した。
  論文  参考訳（メタデータ） (2021-11-26T11:49:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。