論文の概要: General Framework for Self-Supervised Model Priming for
Parameter-Efficient Fine-tuning
- arxiv url: http://arxiv.org/abs/2212.01032v1
- Date: Fri, 2 Dec 2022 08:56:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 15:46:54.433290
- Title: General Framework for Self-Supervised Model Priming for
Parameter-Efficient Fine-tuning
- Title(参考訳): パラメータ効率の良い微調整のための自己教師付きモデルプライミングの汎用フレームワーク
- Authors: Shih-Cheng Huang, Shih-Heng Wang, Min-Han Shih, Saurav Sahay, Hung-yi
Lee
- Abstract要約: 本稿では,パラメータ効率の高い手法の少数ショット適応とクロスドメイン一般化能力を高めるための汎用フレームワークを提案する。
本フレームワークでは,パラメータ効率向上のための自己教師型モデルを用いて,下流の諸課題に迅速に適応する。
我々は160種類のNLPタスクを含む数ショットのクロスドメインベンチマークで実験を行った。
- 参考スコア(独自算出の注目度): 54.47460770634613
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter-efficient methods (like Prompt or Adapters) for adapting
pre-trained language models to downstream tasks have been popular recently.
However, hindrances still prevent these methods from reaching their full
potential. For example, two significant challenges are few-shot adaptation and
cross-task generalization ability. To tackle these issues, we propose a general
framework to enhance the few-shot adaptation and cross-domain generalization
ability of parameter-efficient methods. In our framework, we prime the
self-supervised model for parameter-efficient methods to rapidly adapt to
various downstream few-shot tasks. To evaluate the authentic generalization
ability of these parameter-efficient methods, we conduct experiments on a
few-shot cross-domain benchmark containing 160 diverse NLP tasks. The
experiment result reveals that priming by tuning PLM only with extra training
tasks leads to the best performance. Also, we perform a comprehensive analysis
of various parameter-efficient methods under few-shot cross-domain scenarios.
- Abstract(参考訳): 最近、学習済み言語モデルを下流タスクに適応させるためのパラメータ効率の高いメソッド(プロンプトやアダプタなど)が人気である。
しかし、障害はこれらの方法が完全な可能性に達するのを防ぐ。
例えば、2つの重要な課題は、少数ショット適応とクロスタスク一般化能力である。
これらの課題に対処するために,パラメータ効率の高い手法の少数ショット適応とクロスドメイン一般化能力を高めるための汎用フレームワークを提案する。
本フレームワークでは,パラメータ効率向上のための自己教師型モデルを用いて,下流の諸課題に迅速に適応する。
パラメータ効率の高い手法の真の一般化能力を評価するために,160種類のNLPタスクを含む数ショットのクロスドメインベンチマーク実験を行った。
実験結果から, PLM の調整を余分なトレーニングタスクのみで行うと, 最高の性能が得られることがわかった。
また,数ショットのクロスドメインシナリオ下で,パラメータ効率の異なる手法を包括的に分析する。
関連論文リスト
- AdaptIR: Parameter Efficient Multi-task Adaptation for Pre-trained Image
Restoration Models [58.10797482129863]
本稿では,事前学習した復元モデルに適応するためのパラメータ効率の良い移動学習手法であるAdaptIRを提案する。
実験により,提案手法は0.6%しか使用せず,完全微調整よりも同等あるいはさらに優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2023-12-12T14:27:59Z) - Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。
提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
論文 参考訳(メタデータ) (2023-05-26T08:44:42Z) - Task Difficulty Aware Parameter Allocation & Regularization for Lifelong
Learning [20.177260510548535]
本稿では,その学習困難度に基づいてパラメータ割り当てと正規化から各タスクに適した戦略を適応的に選択するAllocation & Regularization (PAR)を提案する。
提案手法はスケーラビリティが高く,モデルの冗長性を著しく低減し,モデルの性能を向上する。
論文 参考訳(メタデータ) (2023-04-11T15:38:21Z) - Differentiable Entailment for Parameter Efficient Few Shot Learning [0.0]
本稿では,パラメータ効率を向上する新しい手法を提案する。
数ショット体制におけるパラメータ効率と性能のトレードオフを定量化する。
任意のタスクに拡張可能な,シンプルなモデルに依存しないアプローチを提案する。
論文 参考訳(メタデータ) (2023-01-31T00:31:11Z) - On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。
これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。
我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文 参考訳(メタデータ) (2022-11-28T17:41:48Z) - SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark
for Semantic and Generative Capabilities [76.97949110580703]
各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。
データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。
また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
論文 参考訳(メタデータ) (2022-03-14T04:26:40Z) - UniPELT: A Unified Framework for Parameter-Efficient Language Model
Tuning [64.638804236566]
本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。
注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
論文 参考訳(メタデータ) (2021-10-14T17:40:08Z) - Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。
近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。
我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-08T20:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。