論文の概要: Rethinking Efficient Tuning Methods from a Unified Perspective
- arxiv url: http://arxiv.org/abs/2303.00690v1
- Date: Wed, 1 Mar 2023 17:38:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-02 13:52:33.437528
- Title: Rethinking Efficient Tuning Methods from a Unified Perspective
- Title(参考訳): 統一の視点からの効率的なチューニング手法の再考
- Authors: Zeyinzi Jiang, Chaojie Mao, Ziyuan Huang, Yiliang Lv, Deli Zhao,
Jingren Zhou
- Abstract要約: 我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。
U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
- 参考スコア(独自算出の注目度): 34.67645496324432
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter-efficient transfer learning (PETL) based on large-scale pre-trained
foundation models has achieved great success in various downstream
applications. Existing tuning methods, such as prompt, prefix, and adapter,
perform task-specific lightweight adjustments to different parts of the
original architecture. However, they take effect on only some parts of the
pre-trained models, i.e., only the feed-forward layers or the self-attention
layers, which leaves the remaining frozen structures unable to adapt to the
data distributions of downstream tasks. Further, the existing structures are
strongly coupled with the Transformers, hindering parameter-efficient
deployment as well as the design flexibility for new approaches. In this paper,
we revisit the design paradigm of PETL and derive a unified framework U-Tuning
for parameter-efficient transfer learning, which is composed of an operation
with frozen parameters and a unified tuner that adapts the operation for
downstream applications. The U-Tuning framework can simultaneously encompass
existing methods and derive new approaches for parameter-efficient transfer
learning, which prove to achieve on-par or better performances on CIFAR-100 and
FGVC datasets when compared with existing PETL methods.
- Abstract(参考訳): 大規模事前学習基礎モデルに基づくパラメータ効率変換学習(PETL)は,下流の様々な応用において大きな成功を収めている。
プロンプト、プレフィックス、アダプタといった既存のチューニング手法は、オリジナルのアーキテクチャの異なる部分にタスク固有の軽量な調整を行う。
しかし、これらは事前訓練されたモデルの一部の部分、すなわちフィードフォワード層またはセルフアテンション層にのみ影響を受け、残りの凍結された構造は下流タスクのデータ分布に適応できない。
さらに、既存の構造はTransformerと強く結びついており、パラメータ効率のデプロイメントや新しいアプローチの設計の柔軟性を妨げる。
本稿では,petlの設計パラダイムを再検討し,凍ったパラメータを持つ演算と下流アプリケーションに適した統一チューナからなるパラメータ効率の高い転送学習のための統一フレームワーク u-tuning を導出する。
U-Tuningフレームワークは、既存のメソッドを同時に包含し、パラメータ効率のトランスファーラーニングのための新しいアプローチを導き、既存のPETL手法と比較して、CIFAR-100およびFGVCデータセットのオンパーまたはより良いパフォーマンスを実現する。
関連論文リスト
- AdaptIR: Parameter Efficient Multi-task Adaptation for Pre-trained Image
Restoration Models [58.10797482129863]
本稿では,事前学習した復元モデルに適応するためのパラメータ効率の良い移動学習手法であるAdaptIRを提案する。
実験により,提案手法は0.6%しか使用せず,完全微調整よりも同等あるいはさらに優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2023-12-12T14:27:59Z) - GIFT: Generative Interpretable Fine-Tuning Transformers [9.532589580200437]
本稿では, GIFT (Generative Interpretable Fine-tuning Transformer) を用いて, 微調整事前学習型トランスモデルを提案する。
我々のGIFTは深層パラメータ残差学習法であり、事前学習されたトランスフォーマーモデルを微調整する際の2つの問題に対処する。
実験では,提案したGIFTをVTABベンチマークときめ細かい視覚分類ベンチマークで検証した。
論文 参考訳(メタデータ) (2023-12-01T16:33:57Z) - Efficient Adaptation of Large Vision Transformer via Adapter
Re-Composing [8.88477151877883]
高容量事前学習モデルはコンピュータビジョンにおける問題解決に革命をもたらした。
本稿では,効率的な事前学習モデル適応に対処する新しい適応型再コンパイル(ARC)戦略を提案する。
提案手法は適応パラメータの再利用可能性について考察し,パラメータ共有方式を提案する。
論文 参考訳(メタデータ) (2023-10-10T01:04:15Z) - Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。
提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
論文 参考訳(メタデータ) (2023-05-26T08:44:42Z) - Scaling & Shifting Your Features: A New Baseline for Efficient Model
Tuning [126.84770886628833]
既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。
そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
論文 参考訳(メタデータ) (2022-10-17T08:14:49Z) - Meta-Learning the Difference: Preparing Large Language Models for
Efficient Adaptation [11.960178399478718]
大規模な事前訓練言語モデル(PLM)は、しばしば細調整やプロンプトによってドメインまたはタスク適応される。
その代わりに、一般と適応のPLMの違いを学習することで、データおよびパラメータ効率の適応のためのPLMを作成する。
論文 参考訳(メタデータ) (2022-07-07T18:00:22Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z) - Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for
Pre-trained Language Models [90.24999406296867]
標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。
近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
論文 参考訳(メタデータ) (2022-03-14T07:56:32Z) - Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。
近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。
我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-08T20:22:26Z) - Parameter-Efficient Transfer from Sequential Behaviors for User Modeling
and Recommendation [111.44445634272235]
本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。
PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。
我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
論文 参考訳(メタデータ) (2020-01-13T14:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。