論文の概要: Sensitivity-Aware Visual Parameter-Efficient Tuning

• arxiv url: http://arxiv.org/abs/2303.08566v1
• Date: Wed, 15 Mar 2023 12:34:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 14:02:24.769281
• Title: Sensitivity-Aware Visual Parameter-Efficient Tuning
• Title（参考訳）: 感度アウェアビジュアルパラメーター効率チューニング
• Authors: Haoyu He, Jianfei Cai, Jing Zhang, Dacheng Tao, Bohan Zhuang
• Abstract要約: 本稿では,新しい感性認識ビジュアルを提案する。 効率的なチューニング(SPT)方式。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを適応的に割り当てる。 下流認識タスクの幅広い実験から,SPTは既存のVPET法と相補的であることが示された。
• 参考スコア（独自算出の注目度）: 102.48201159569967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual Parameter-Efficient Tuning (VPET) has become a powerful alternative for full fine-tuning so as to adapt pre-trained vision models to downstream tasks, which only tunes a small number of parameters while freezing the vast majority ones to ease storage burden and optimization difficulty. However, existing VPET methods introduce trainable parameters to the same positions across different tasks depending solely on human heuristics and neglect the domain gaps. To this end, we study where to introduce and how to allocate trainable parameters by proposing a novel Sensitivity-aware visual Parameter-efficient Tuning (SPT) scheme, which adaptively allocates trainable parameters to task-specific important positions given a desired tunable parameter budget. Specifically, our SPT first quickly identifies the sensitive parameters that require tuning for a given task in a data-dependent way. Next, our SPT further boosts the representational capability for the weight matrices whose number of sensitive parameters exceeds a pre-defined threshold by utilizing any of the existing structured tuning methods, e.g., LoRA or Adapter, to replace directly tuning the selected sensitive parameters (unstructured tuning) under the budget. Extensive experiments on a wide range of downstream recognition tasks show that our SPT is complementary to the existing VPET methods and largely boosts their performance, e.g., SPT improves Adapter with supervised pre-trained ViT-B/16 backbone by 4.2% and 1.4% mean Top-1 accuracy, reaching SOTA performance on FGVC and VTAB-1k benchmarks, respectively. Source code is at https://github.com/ziplab/SPT
• Abstract（参考訳）: 視覚パラメータ効率チューニング(vpet)は、事前訓練されたビジョンモデルを下流タスクに適応させるために、完全な微調整のための強力な代替手段となっている。 しかし、既存のvpet法は、人間のヒューリスティックのみに依存して異なるタスク間で同じ位置にトレーニング可能なパラメータを導入し、ドメイン間隙を無視する。 そこで本研究では,学習可能なパラメータをタスク固有の重要な位置に適応的に割り当てる,感性を考慮した視覚的パラメータ効率調整(SPT)方式を提案する。 具体的には、SPTはまず、データ依存的な方法でタスクのチューニングを必要とするセンシティブなパラメータを素早く識別する。 次に、SPTは、例えばLoRAやAdapterといった既存の構造的チューニング手法を利用して、予め定義されたしきい値を超えている重み行列の表現能力をさらに強化し、選択された感度的パラメータ(非構造的チューニング)を直接調整する。 例えば、sptは事前訓練されたvit-b/16バックボーンを4.2%、top-1精度を1.4%改善し、それぞれfgvcベンチマークとvtab-1kベンチマークでsof性能に到達した。 ソースコードはhttps://github.com/ziplab/spt

関連論文リスト

• FacT: Factor-Tuning for Lightweight Adaptation on Vision Transformer [14.993203705812654]
  最近の研究は、いくつかのパラメータを更新することで、事前訓練された視覚変換器(ViT)に適応する可能性を探っている。 現在のPETL法では、パラメータの0.5%だけをチューニングすることで、ViTは完全な微調整よりもより優れたパフォーマンスでダウンストリームタスクに適応できることが示されている。 トレーニング可能なパラメータは8K(ViTのパラメータの0.01%)しか使用していないが、フル微調整や他のPETLメソッドよりも優れている小さなバージョンを提示する。
  論文  参考訳（メタデータ） (2022-12-06T17:18:33Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Visual Prompt Tuning for Test-time Domain Adaptation [48.16620171809511]
  本稿では,2つの重要な要素を持つデータ効率・プロンプト・チューニング(DePT)と呼ばれる簡単なレシピを提案する。 このようなパラメータ効率の良い微調整は,学習対象の雑音に過度に適応することなく,モデル表現を対象領域に効率よく適応させることができる。 パラメータがはるかに少ないため、DePTは主要な適応ベンチマークにおける最先端のパフォーマンスだけでなく、優れたデータ効率を示す。
  論文  参考訳（メタデータ） (2022-10-10T16:45:13Z)
• Parameter-Efficient Tuning with Special Token Adaptation [25.37998979962568]
  PASTAは自然言語理解タスクの微調整に匹敵するパフォーマンスを実現している。 我々の研究は、事前訓練された言語モデルにおける特別なトークンの重要な役割を実証している。
  論文  参考訳（メタデータ） (2022-10-10T01:02:51Z)
• Sparse Structure Search for Parameter-Efficient Tuning [85.49094523664428]
  S$3$PETは、トレーニング可能なパラメータの少ない手動およびランダムな構造を超えることを示す。 探索された構造は、0.01%のトレーニング可能なパラメータで99%以上の微調整性能を維持している。
  論文  参考訳（メタデータ） (2022-06-15T08:45:21Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Visual Prompt Tuning [74.5309408185523]
  本稿では,視覚における大規模トランスフォーマーモデルの完全微調整の代替として,視覚プロンプトチューニング(VPT)を提案する。 VPTは、モデルのバックボーンを凍結させながら、入力空間でトレーニング可能なパラメータの少量(モデルパラメータの1%未満)しか導入しない。
  論文  参考訳（メタデータ） (2022-03-23T01:17:16Z)
• Automatic prior selection for meta Bayesian optimization with a case study on tuning deep neural network optimizers [47.013395100497775]
  このような高価なハイパーパラメータチューニング問題を効率的に解くための原理的アプローチを提案する。 BOの性能の鍵となるのは関数上の分布を指定および精製することであり、これは基礎となる関数の最適化を推論するために使われる。 我々は、一般的な画像やテキストデータセット上で、最先端に近いモデルの何万もの設定をトレーニングすることで、現実的なモデルトレーニング設定におけるアプローチを検証する。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。