論文の概要: SCT: A Simple Baseline for Parameter-Efficient Fine-Tuning via Salient Channels

• arxiv url: http://arxiv.org/abs/2309.08513v2
• Date: Mon, 18 Sep 2023 12:45:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 10:10:38.294106
• Title: SCT: A Simple Baseline for Parameter-Efficient Fine-Tuning via Salient Channels
• Title（参考訳）: SCT:Salient Channelsを用いたパラメータ効率の良いファインチューニングのための簡易ベースライン
• Authors: Henry Hengyuan Zhao, Pichao Wang, Yuyang Zhao, Hao Luo, Fan Wang, Mike Zheng Shou
• Abstract要約: そこで本研究では,Salient Channel Tuning (SCT) と呼ばれる簡易かつ効果的な手法を提案する。 実験はVTAB-1Kベンチマークの19タスク中18タスクに対して、VT-Bの0.11Mパラメータを追加することで完全な微調整を行う。
• 参考スコア（独自算出の注目度）: 40.07664693169841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained vision transformers have strong representation benefits to various downstream tasks. Recently, many parameter-efficient fine-tuning (PEFT) methods have been proposed, and their experiments demonstrate that tuning only 1% of extra parameters could surpass full fine-tuning in low-data resource scenarios. However, these methods overlook the task-specific information when fine-tuning diverse downstream tasks. In this paper, we propose a simple yet effective method called "Salient Channel Tuning" (SCT) to leverage the task-specific information by forwarding the model with the task images to select partial channels in a feature map that enables us to tune only 1/8 channels leading to significantly lower parameter costs. Experiments outperform full fine-tuning on 18 out of 19 tasks in the VTAB-1K benchmark by adding only 0.11M parameters of the ViT-B, which is 780$\times$ fewer than its full fine-tuning counterpart. Furthermore, experiments on domain generalization and few-shot learning surpass other PEFT methods with lower parameter costs, demonstrating our proposed tuning technique's strong capability and effectiveness in the low-data regime.
• Abstract（参考訳）: 事前訓練された視覚トランスフォーマーは、様々な下流タスクに強い表現の利点がある。 近年,多くのパラメータ効率細調整法が提案されており,その実験により,低データのリソースシナリオにおいて,パラメータの1%しか調整できないことが示されている。 しかし、これらの方法は様々な下流タスクを微調整する際にタスク固有の情報を見落とします。 本稿では,SCT(Salient Channel Tuning)と呼ばれる簡易かつ効果的な手法を提案する。タスクイメージをモデルに転送し,特徴マップ内の部分的なチャネルを選択することで,パラメータコストを大幅に低減する1/8チャネルのみをチューニングできる。 VTAB-1Kベンチマークの19タスク中18タスクにおいて、VT-Bのパラメータは0.11Mしかなく、完全な微調整よりも780$\times$は少ない。 さらに,パラメータコストの低い他のPEFT手法を超越した領域一般化と少数ショット学習の実験を行い,提案手法の高機能化と低データ方式の有効性を実証した。

関連論文リスト

• Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [69.85872441633286]
  我々は、事前学習モデル(LPM)の効率的な微調整と展開のための統一的なフレームワークを提案する。 まず,Low-Rank Adaption (LoRA) の値と勾配を利用するPEFT対応プルーニング基準を設計する。 次に,PEFTの利点を最大化しつつ,冗長なパラメータを除去する反復的プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• FacT: Factor-Tuning for Lightweight Adaptation on Vision Transformer [14.993203705812654]
  最近の研究は、いくつかのパラメータを更新することで、事前訓練された視覚変換器(ViT)に適応する可能性を探っている。 現在のPETL法では、パラメータの0.5%だけをチューニングすることで、ViTは完全な微調整よりもより優れたパフォーマンスでダウンストリームタスクに適応できることが示されている。 トレーニング可能なパラメータは8K(ViTのパラメータの0.01%)しか使用していないが、フル微調整や他のPETLメソッドよりも優れている小さなバージョンを提示する。
  論文  参考訳（メタデータ） (2022-12-06T17:18:33Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Visual Prompt Tuning [74.5309408185523]
  本稿では,視覚における大規模トランスフォーマーモデルの完全微調整の代替として,視覚プロンプトチューニング(VPT)を提案する。 VPTは、モデルのバックボーンを凍結させながら、入力空間でトレーニング可能なパラメータの少量(モデルパラメータの1%未満)しか導入しない。
  論文  参考訳（メタデータ） (2022-03-23T01:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。