論文の概要: Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning
- arxiv url: http://arxiv.org/abs/2303.08566v2
- Date: Thu, 31 Aug 2023 08:17:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 20:38:12.888577
- Title: Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning
- Title(参考訳): 感度アウェアビジュアルパラメーター効率の微調整
- Authors: Haoyu He, Jianfei Cai, Jing Zhang, Dacheng Tao, Bohan Zhuang
- Abstract要約: 私たちは新しいビジュアルを提案します。
Sensuous-Aware Fine-Tuning (SPT) スキーム。
SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。
ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
- 参考スコア(独自算出の注目度): 91.5113227694443
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual Parameter-Efficient Fine-Tuning (PEFT) has become a powerful
alternative for full fine-tuning so as to adapt pre-trained vision models to
downstream tasks, which only tunes a small number of parameters while freezing
the vast majority ones to ease storage burden and optimization difficulty.
However, existing PEFT methods introduce trainable parameters to the same
positions across different tasks depending solely on human heuristics and
neglect the domain gaps. To this end, we study where to introduce and how to
allocate trainable parameters by proposing a novel Sensitivity-aware visual
Parameter-efficient fine-Tuning (SPT) scheme, which adaptively allocates
trainable parameters to task-specific important positions given a desired
tunable parameter budget. Specifically, our SPT first quickly identifies the
sensitive parameters that require tuning for a given task in a data-dependent
way. Next, our SPT further boosts the representational capability for the
weight matrices whose number of sensitive parameters exceeds a pre-defined
threshold by utilizing existing structured tuning methods, e.g., LoRA [23] or
Adapter [22], to replace directly tuning the selected sensitive parameters
(unstructured tuning) under the budget. Extensive experiments on a wide range
of downstream recognition tasks show that our SPT is complementary to the
existing PEFT methods and largely boosts their performance, e.g., SPT improves
Adapter with supervised pre-trained ViT-B/16 backbone by 4.2% and 1.4% mean
Top-1 accuracy, reaching SOTA performance on FGVC and VTAB-1k benchmarks,
respectively. Source code is at https://github.com/ziplab/SPT
- Abstract(参考訳): 視覚パラメーター効率の良い微調整(peft)は、事前訓練されたビジョンモデルを下流タスクに適応させるために、完全な微調整のための強力な代替手段となっている。
しかし、既存のpeftメソッドでは、人間のヒューリスティックのみに依存して異なるタスク間で同じ位置にトレーニング可能なパラメータを導入し、ドメイン間隙を無視する。
そこで本研究では,学習可能なパラメータをタスク固有の重要な位置に適応的に割り当てる,新しい感度・アウェアビジュアルパラメーター効率の微調整(spt)方式を提案することにより,学習可能なパラメータの割り当て方法を提案する。
具体的には、SPTはまず、データ依存的な方法でタスクのチューニングを必要とするセンシティブなパラメータを素早く識別する。
次に,既存の構造的チューニング手法であるlora [23] や adapter [22] を利用して,選択した感度パラメータ(非構造的チューニング)を予算内で直接チューニングすることにより,感度パラメータ数が予め定義されたしきい値を超える重み行列の表現能力をさらに向上させる。
例えば、SPTは、教師付きトレーニング済みのViT-B/16バックボーンを4.2%、平均1.4%改善し、FGVCとVTAB-1kベンチマークでSOTAパフォーマンスに達した。
ソースコードはhttps://github.com/ziplab/spt
関連論文リスト
- Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer
Learning for Point Cloud Analysis [53.70588957376317]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。
モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。
本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文 参考訳(メタデータ) (2024-03-03T08:25:04Z) - Re-parameterized Low-rank Prompt: Generalize a Vision-Language Model
within 0.5K Parameters [75.28536311904489]
そこで我々は,RLP(Re- parameterized Low-rank Prompt)という新しいタイプのプロンプトを開発した。
11データセットを超える一連のタスクにおいて、RLPは0.5Kパラメータだけで古典的なプロンプトチューニングの平均下流精度を最大5.25%向上させる。
論文 参考訳(メタデータ) (2023-12-17T20:42:43Z) - SCT: A Simple Baseline for Parameter-Efficient Fine-Tuning via Salient
Channels [40.07664693169841]
そこで本研究では,Salient Channel Tuning (SCT) と呼ばれる簡易かつ効果的な手法を提案する。
実験はVTAB-1Kベンチマークの19タスク中18タスクに対して、VT-Bの0.11Mパラメータを追加することで完全な微調整を行う。
論文 参考訳(メタデータ) (2023-09-15T16:19:09Z) - Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。
提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
論文 参考訳(メタデータ) (2023-05-26T08:44:42Z) - Evaluating Parameter-Efficient Transfer Learning Approaches on SURE
Benchmark for Speech Understanding [40.27182770995891]
ファインチューニングは、事前訓練されたモデルからのトランスファー学習のデフォルトアルゴリズムとして広く使われている。
本稿では,様々な音声処理タスクに対するパラメータ効率学習のための音声不確定評価(SURE)ベンチマークを提案する。
論文 参考訳(メタデータ) (2023-03-02T08:57:33Z) - Scaling & Shifting Your Features: A New Baseline for Efficient Model
Tuning [126.84770886628833]
既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。
そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
論文 参考訳(メタデータ) (2022-10-17T08:14:49Z) - Visual Prompt Tuning for Test-time Domain Adaptation [48.16620171809511]
本稿では,2つの重要な要素を持つデータ効率・プロンプト・チューニング(DePT)と呼ばれる簡単なレシピを提案する。
このようなパラメータ効率の良い微調整は,学習対象の雑音に過度に適応することなく,モデル表現を対象領域に効率よく適応させることができる。
パラメータがはるかに少ないため、DePTは主要な適応ベンチマークにおける最先端のパフォーマンスだけでなく、優れたデータ効率を示す。
論文 参考訳(メタデータ) (2022-10-10T16:45:13Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。