論文の概要: Parameter-efficient Fine-tuning for Vision Transformers
- arxiv url: http://arxiv.org/abs/2203.16329v1
- Date: Tue, 29 Mar 2022 05:30:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 07:56:24.197566
- Title: Parameter-efficient Fine-tuning for Vision Transformers
- Title(参考訳): 視覚トランスフォーマのパラメータ効率の良い微調整
- Authors: Xuehai He, Chunyuan Li, Pengchuan Zhang, Jianwei Yang, Xin Eric Wang
- Abstract要約: 視覚タスクにおける視覚変換器のパラメータ効率の良い微調整方略について検討する。
本稿では,局所固有次元を測定することで,まずサブモジュールを選択するパラメータ効率のよい微調整フレームワークを提案する。
提案手法は,3つの画像分類データセットの精度とパラメータ効率のトレードオフを最良とする。
- 参考スコア(独自算出の注目度): 45.3460867776953
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In computer vision, it has achieved great success in adapting large-scale
pretrained vision models (e.g., Vision Transformer) to downstream tasks via
fine-tuning. Common approaches for fine-tuning either update all model
parameters or leverage linear probes. In this paper, we aim to study
parameter-efficient fine-tuning strategies for Vision Transformers on vision
tasks. We formulate efficient fine-tuning as a subspace training problem and
perform a comprehensive benchmarking over different efficient fine-tuning
methods. We conduct an empirical study on each efficient fine-tuning method
focusing on its performance alongside parameter cost. Furthermore, we also
propose a parameter-efficient fine-tuning framework, which first selects
submodules by measuring local intrinsic dimensions and then projects them into
subspace for further decomposition via a novel Kronecker Adaptation method. We
analyze and compare our method with a diverse set of baseline fine-tuning
methods (including state-of-the-art methods for pretrained language models).
Our method performs the best in terms of the tradeoff between accuracy and
parameter efficiency across three commonly used image classification datasets.
- Abstract(参考訳): コンピュータビジョンでは、大規模な事前訓練された視覚モデル(ビジョントランスフォーマーなど)を微調整で下流のタスクに適応させることに成功した。
微調整のための一般的なアプローチは、すべてのモデルパラメータを更新するか、線形プローブを利用する。
本稿では,視覚タスクにおける視覚変換器のパラメータ効率向上のための微調整戦略について検討する。
サブスペーストレーニング問題として効率的な微調整を定式化し、異なる効率の微調整方法に対して総合的なベンチマークを行う。
本研究は, パラメータコストと並行して, 効率の良い微調整法について実験的に検討する。
さらに,パラメータ効率のよい微調整フレームワークを提案する。このフレームワークは,まず局所固有次元を測定して部分加群を選択し,次に新しいKronecker Adaptation法による部分空間に投影する。
本手法を様々なベースライン微調整法(事前学習した言語モデルのための最先端法を含む)と比較した。
本手法は,3つの画像分類データセットにおいて,精度とパラメータ効率のトレードオフの観点から最良である。
関連論文リスト
- Efficient Adapter Tuning of Pre-trained Speech Models for Automatic
Speaker Verification [38.20393847192532]
自己教師型音声モデルは、下流の様々な音声タスクにおいて印象的な性能を示した。
大量の計算とストレージオーバーヘッドのため、微調整は事実上不可能になる。
話者検証タスクに自己教師付き音声モデルを適用するための効果的なアダプタフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-01T05:32:14Z) - AdaptIR: Parameter Efficient Multi-task Adaptation for Pre-trained Image
Restoration Models [58.10797482129863]
本稿では,事前学習した復元モデルに適応するためのパラメータ効率の良い移動学習手法であるAdaptIRを提案する。
実験により,提案手法は0.6%しか使用せず,完全微調整よりも同等あるいはさらに優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2023-12-12T14:27:59Z) - Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。
いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
論文 参考訳(メタデータ) (2023-10-31T10:45:03Z) - Efficient Adaptation of Large Vision Transformer via Adapter
Re-Composing [8.88477151877883]
高容量事前学習モデルはコンピュータビジョンにおける問題解決に革命をもたらした。
本稿では,効率的な事前学習モデル適応に対処する新しい適応型再コンパイル(ARC)戦略を提案する。
提案手法は適応パラメータの再利用可能性について考察し,パラメータ共有方式を提案する。
論文 参考訳(メタデータ) (2023-10-10T01:04:15Z) - E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。
本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。
提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2023-07-25T19:03:21Z) - Scaling Pre-trained Language Models to Deeper via Parameter-efficient
Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。
MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。
私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文 参考訳(メタデータ) (2023-03-27T02:34:09Z) - Learning to Refit for Convex Learning Problems [11.464758257681197]
ニューラルネットワークを用いて、異なるトレーニングセットに対して最適化されたモデルパラメータを推定するフレームワークを提案する。
我々は、凸問題を近似するためにニューラルネットワークのパワーを厳格に特徴づける。
論文 参考訳(メタデータ) (2021-11-24T15:28:50Z) - Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。
近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。
我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-08T20:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。