論文の概要: Revisiting the Parameter Efficiency of Adapters from the Perspective of Precision Redundancy

• arxiv url: http://arxiv.org/abs/2307.16867v1
• Date: Mon, 31 Jul 2023 17:22:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 13:13:04.331494
• Title: Revisiting the Parameter Efficiency of Adapters from the Perspective of Precision Redundancy
• Title（参考訳）: 高精度冗長性の観点からのアダプタのパラメータ効率の再検討
• Authors: Shibo Jie, Haoqing Wang, Zhi-Hong Deng
• Abstract要約: コンピュータビジョンにおける現在の最先端の結果は、部分的に微調整された大規模な事前学習された視覚モデルに依存している。 モデルサイズが指数関数的に増大するにつれて、従来のフル微調整はストレージと送信オーバーヘッドを増大させる。 本稿では,タスク固有の細調整ネットワークを格納するために必要な最小限のサイズに到達し,アダプタをさらに効率的にする方法を検討する。
• 参考スコア（独自算出の注目度）: 17.203320079872952
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Current state-of-the-art results in computer vision depend in part on fine-tuning large pre-trained vision models. However, with the exponential growth of model sizes, the conventional full fine-tuning, which needs to store a individual network copy for each tasks, leads to increasingly huge storage and transmission overhead. Adapter-based Parameter-Efficient Tuning (PET) methods address this challenge by tuning lightweight adapters inserted into the frozen pre-trained models. In this paper, we investigate how to make adapters even more efficient, reaching a new minimum size required to store a task-specific fine-tuned network. Inspired by the observation that the parameters of adapters converge at flat local minima, we find that adapters are resistant to noise in parameter space, which means they are also resistant to low numerical precision. To train low-precision adapters, we propose a computational-efficient quantization method which minimizes the quantization error. Through extensive experiments, we find that low-precision adapters exhibit minimal performance degradation, and even 1-bit precision is sufficient for adapters. The experimental results demonstrate that 1-bit adapters outperform all other PET methods on both the VTAB-1K benchmark and few-shot FGVC tasks, while requiring the smallest storage size. Our findings show, for the first time, the significant potential of quantization techniques in PET, providing a general solution to enhance the parameter efficiency of adapter-based PET methods. Code: https://github.com/JieShibo/PETL-ViT
• Abstract（参考訳）: コンピュータビジョンの現在の成果は、事前学習された大規模視覚モデルの微調整に一部依存している。 しかし、モデルサイズが指数関数的に大きくなるにつれて、個々のタスクに個別のネットワークコピーを格納する必要がある従来のフルチューニングによって、ストレージと送信オーバーヘッドが増大する。 Adapter-based Parameter-Efficient Tuning (PET)メソッドは、凍結事前訓練モデルに挿入された軽量アダプタをチューニングすることでこの問題に対処する。 本稿では,タスク固有の細調整ネットワークを格納するために必要な最小限のサイズのアダプタをさらに効率的にする方法を検討する。 平らな局所ミニマでアダプタのパラメータが収束するという観測から着想を得た結果,アダプタはパラメータ空間のノイズに耐性があることがわかった。 低精度アダプタを訓練するために,量子化誤差を最小化する計算効率の量子化法を提案する。 広範な実験により、低精度アダプタは最小性能劣化を示し、1ビットの精度でもアダプタに十分であることがわかった。 実験の結果、1ビットアダプタはVTAB-1KベンチマークとFGVCタスクの両方で他のPETメソッドよりも優れており、ストレージサイズは最小であることがわかった。 本研究は, PETにおける量子化技術の有意な可能性を初めて示し, アダプタベースPET法のパラメータ効率を高めるための一般的なソリューションを提供する。 コード:https://github.com/JieShibo/PETL-ViT

関連論文リスト

• Towards Optimal Adapter Placement for Efficient Transfer Learning [73.1149084352343]
  PETLは、トレーニング済みモデルを新しい下流タスクに適用し、微調整されたパラメータの数を最小化することを目的としている。 PETLの一般的なアプローチであるアダプタは、低ランクのプロジェクションを組み込むことで、既存のネットワークにさらなる容量を注入する。 本稿では,アダプタの配置と性能の関係について検討する。
  論文  参考訳（メタデータ） (2024-10-21T10:37:17Z)
• Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models [108.08773541490191]
  事前訓練された言語モデル(PLM)は大量のパラメータを持ち、微調整は高価で時間を要することが多い。 ダウンストリームタスクにおける性能を損なうことなく、微調整時にPLMのパラメータを減らすためのパラメータ効率のアプローチを採用する必要がある。 本稿では, PLMにおける自己注意出力のみに作用する新しいアダプタを設計する。
  論文  参考訳（メタデータ） (2024-07-04T18:21:28Z)
• Mini but Mighty: Finetuning ViTs with Mini Adapters [7.175668563148084]
  アダプタの寸法が小さい場合、アダプタは性能が悪くなります。 この問題に対処するトレーニングフレームワークMiMiを提案する。 本手法は,精度と訓練されたパラメータの最良のトレードオフを見つける上で,既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-07T10:41:27Z)
• Parameter-Efficient Sparse Retrievers and Rerankers using Adapters [4.9545244468634655]
  本研究では,スパースレトリバーであるSPLADEのアダプタについて検討する。 また、クロスドメインBEIRデータセットとTripClickのアダプタにより、ニューラルネットワークのドメイン適応にも対処する。
  論文  参考訳（メタデータ） (2023-03-23T12:34:30Z)
• Towards Efficient Visual Adaption via Structural Re-parameterization [76.57083043547296]
  本稿では,RepAdapterと呼ばれる巨大ビジョンモデルに対して,パラメータ効率と計算親和性を考慮したアダプタを提案する。 RepAdapterは、VTAB-1k上で25%のトレーニング時間、20%のGPUメモリ、94.6%のストレージコストを節約できる。
  論文  参考訳（メタデータ） (2023-02-16T06:14:15Z)
• Tiny-Attention Adapter: Contexts Are More Important Than the Number of Parameters [25.958600375299735]
  Adapter-tuningは、トレーニング済みの言語モデルを、少数の新しいパラメータの追加とチューニングによって下流タスクに転送するパラダイムである。 本稿では, 極小アテンション, 極小アテンション・アテンション・アテンション・アテンション・アテンションをアダプタとして用いることの有効性について検討する。 私たちの小さなアテンションアダプタは、他のすべての位置にある隠された状態に直接条件付けられた各位置の隠された状態を変更することを学習します。
  論文  参考訳（メタデータ） (2022-10-18T15:20:44Z)
• AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large Language Models [119.7093605087114]
  大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。 これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。 パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2022-05-24T23:41:22Z)
• AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks [55.705355299065474]
  数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。 近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。 本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
  論文  参考訳（メタデータ） (2022-04-30T16:49:41Z)
• AdapterDrop: On the Efficiency of Adapters in Transformers [53.845909603631945]
  大規模に事前訓練されたトランスフォーマーモデルは、微調整に計算コストがかかり、推論に時間がかかり、大きなストレージ要求がある。 最近のアプローチでは、より小さなモデルをトレーニングし、モデルサイズを動的に削減し、軽量アダプタをトレーニングすることで、これらの欠点に対処している。
  論文  参考訳（メタデータ） (2020-10-22T17:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。