論文の概要: Sensitivity-Aware Visual Parameter-Efficient Tuning

• arxiv url: http://arxiv.org/abs/2303.08566v1
• Date: Wed, 15 Mar 2023 12:34:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 14:02:24.769281
• Title: Sensitivity-Aware Visual Parameter-Efficient Tuning
• Title（参考訳）: 感度アウェアビジュアルパラメーター効率チューニング
• Authors: Haoyu He, Jianfei Cai, Jing Zhang, Dacheng Tao, Bohan Zhuang
• Abstract要約: 本稿では,新しい感性認識ビジュアルを提案する。 効率的なチューニング(SPT)方式。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを適応的に割り当てる。 下流認識タスクの幅広い実験から,SPTは既存のVPET法と相補的であることが示された。
• 参考スコア（独自算出の注目度）: 102.48201159569967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual Parameter-Efficient Tuning (VPET) has become a powerful alternative for full fine-tuning so as to adapt pre-trained vision models to downstream tasks, which only tunes a small number of parameters while freezing the vast majority ones to ease storage burden and optimization difficulty. However, existing VPET methods introduce trainable parameters to the same positions across different tasks depending solely on human heuristics and neglect the domain gaps. To this end, we study where to introduce and how to allocate trainable parameters by proposing a novel Sensitivity-aware visual Parameter-efficient Tuning (SPT) scheme, which adaptively allocates trainable parameters to task-specific important positions given a desired tunable parameter budget. Specifically, our SPT first quickly identifies the sensitive parameters that require tuning for a given task in a data-dependent way. Next, our SPT further boosts the representational capability for the weight matrices whose number of sensitive parameters exceeds a pre-defined threshold by utilizing any of the existing structured tuning methods, e.g., LoRA or Adapter, to replace directly tuning the selected sensitive parameters (unstructured tuning) under the budget. Extensive experiments on a wide range of downstream recognition tasks show that our SPT is complementary to the existing VPET methods and largely boosts their performance, e.g., SPT improves Adapter with supervised pre-trained ViT-B/16 backbone by 4.2% and 1.4% mean Top-1 accuracy, reaching SOTA performance on FGVC and VTAB-1k benchmarks, respectively. Source code is at https://github.com/ziplab/SPT
• Abstract（参考訳）: 視覚パラメータ効率チューニング(vpet)は、事前訓練されたビジョンモデルを下流タスクに適応させるために、完全な微調整のための強力な代替手段となっている。 しかし、既存のvpet法は、人間のヒューリスティックのみに依存して異なるタスク間で同じ位置にトレーニング可能なパラメータを導入し、ドメイン間隙を無視する。 そこで本研究では,学習可能なパラメータをタスク固有の重要な位置に適応的に割り当てる,感性を考慮した視覚的パラメータ効率調整(SPT)方式を提案する。 具体的には、SPTはまず、データ依存的な方法でタスクのチューニングを必要とするセンシティブなパラメータを素早く識別する。 次に、SPTは、例えばLoRAやAdapterといった既存の構造的チューニング手法を利用して、予め定義されたしきい値を超えている重み行列の表現能力をさらに強化し、選択された感度的パラメータ(非構造的チューニング)を直接調整する。 例えば、sptは事前訓練されたvit-b/16バックボーンを4.2%、top-1精度を1.4%改善し、それぞれfgvcベンチマークとvtab-1kベンチマークでsof性能に到達した。 ソースコードはhttps://github.com/ziplab/spt

関連論文リスト

• Pre-training Everywhere: Parameter-Efficient Fine-Tuning for Medical Image Analysis via Target Parameter Pre-training [17.433808197776003]
  ターゲット事前学習(TPP)に基づく簡易かつ効果的な微調整フレームワークを提案する。 TPPはPEFTの前にこれらのターゲットパラメータを事前訓練するための追加段階を含む。 TPPは既存のPEFT手法に容易に統合でき、性能が大幅に向上する。
  論文  参考訳（メタデータ） (2024-08-27T12:48:46Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Evaluating Parameter-Efficient Transfer Learning Approaches on SURE Benchmark for Speech Understanding [40.27182770995891]
  ファインチューニングは、事前訓練されたモデルからのトランスファー学習のデフォルトアルゴリズムとして広く使われている。 本稿では,様々な音声処理タスクに対するパラメータ効率学習のための音声不確定評価(SURE)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-03-02T08:57:33Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Visual Prompt Tuning for Test-time Domain Adaptation [48.16620171809511]
  本稿では,2つの重要な要素を持つデータ効率・プロンプト・チューニング(DePT)と呼ばれる簡単なレシピを提案する。 このようなパラメータ効率の良い微調整は,学習対象の雑音に過度に適応することなく,モデル表現を対象領域に効率よく適応させることができる。 パラメータがはるかに少ないため、DePTは主要な適応ベンチマークにおける最先端のパフォーマンスだけでなく、優れたデータ効率を示す。
  論文  参考訳（メタデータ） (2022-10-10T16:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。