論文の概要: AdapterTune: Zero-Initialized Low-Rank Adapters for Frozen Vision Transformers
- arxiv url: http://arxiv.org/abs/2603.14706v1
- Date: Mon, 16 Mar 2026 01:29:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.980498
- Title: AdapterTune: Zero-Initialized Low-Rank Adapters for Frozen Vision Transformers
- Title（参考訳）: AdapterTune: 凍結視覚変換器用ゼロ初期化低ランク適応器
- Authors: Salim Khazem,
- Abstract要約: 本稿では,各トランスブロックを低ランクボトルネックで拡張するAdapterTuneを紹介する。
コア5データセット転送スイートでは、AdapterTuneは頭のみの転送よりも平均+14.9ポイントの精度を向上する。
完全なベンチマークで、AdapterTuneは、テストされたデータセットとバックボーンのペア毎に、ヘッドのみの転送を改善する。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frozen-backbone transfer with Vision Transformers faces two under-addressed issues: optimization instability when adapters are naively inserted into a fixed feature extractor, and the absence of principled guidance for setting adapter capacity. We introduce AdapterTune, which augments each transformer block with a residual low-rank bottleneck whose up-projection is zero-initialized, guaranteeing that the adapted network starts exactly at the pretrained function and eliminates early-epoch representation drift. On the analytical side, we formalize adapter rank as a capacity budget for approximating downstream task shifts in feature space. The resulting excess-risk decomposition predicts monotonic but diminishing accuracy gains with increasing rank, an ``elbow'' behavior we confirm through controlled sweeps. We evaluate on 9 datasets and 3 backbone scales with multi-seed reporting throughout. On a core 5 dataset transfer suite, AdapterTune improves top-1 accuracy over head-only transfer by +14.9 points on average while training only 0.92 of the parameters required by full fine-tuning, and outperforms full fine-tuning on 10 of 15 dataset-backbone pairs. Across the full benchmark, AdapterTune improves over head-only transfer on every dataset-backbone pair tested. Ablations on rank, placement, and initialization isolate each design choice. The code is available at: https://github.com/salimkhazem/adaptertune
- Abstract（参考訳）: Vision Transformersによる冷凍バックボーン転送は、固定された特徴抽出器にアダプターを鼻で挿入する際の最適化の不安定性と、アダプタ容量を設定するための原則化されたガイダンスがないという2つの未解決問題に直面している。
そこで我々は,アダプタチューンを導入し,アダプタネットワークが事前学習関数で正確に開始され,早期の表現のドリフトがなくなることを保証するために,アッププロジェクションがゼロとなる残差の低ランクボトルネックを各トランスフォーマーブロックに付加する。
分析面では,機能空間における下流タスクシフトを近似するためのキャパシティ予算として,アダプタのランクを定式化する。
結果として生じる余剰リスクの分解は、制御されたスイープを通して確認する `elbow'' の振る舞いにより、単調であるが精度が向上すると予想する。
我々は,9つのデータセットと3つのバックボーンスケールをマルチシードレポートで評価した。
コア5データセット転送スイートでは、AdapterTuneは頭のみの転送よりも平均+14.9ポイントの精度を向上し、フル微調整に必要なパラメータのわずか0.92しか訓練していない。
完全なベンチマークで、AdapterTuneは、テストされたデータセットとバックボーンのペア毎に、ヘッドのみの転送を改善する。
ランク、配置、初期化に関するアブレーションは、それぞれの設計選択を分離する。
コードは、https://github.com/salimkhazem/adaptertune.comで入手できる。
関連論文リスト
- Low-Rank Adaptation Secretly Imitates Differentially Private SGD [5.359060261460183]
理論的には、低ランク適応はノイズの多いバッチ勾配を持つ微調整アダプタと等価である。
また、入射雑音の分散を適応ランクの減少関数として定量化する。
低ランク適応は、微調整データに対して、メンバシップ推論攻撃に対して堅牢性を提供する。
論文 参考訳（メタデータ） (2024-09-26T04:56:49Z) - Parameter-Efficient Sparse Retrievers and Rerankers using Adapters [4.9545244468634655]
本研究では,スパースレトリバーであるSPLADEのアダプタについて検討する。
また、クロスドメインBEIRデータセットとTripClickのアダプタにより、ニューラルネットワークのドメイン適応にも対処する。
論文 参考訳（メタデータ） (2023-03-23T12:34:30Z) - Revisiting adapters with adversarial training [39.018061382248085]
クリーン入力と逆入力の併用学習においてバッチ統計を分離する必要はないことを示す。
アダプターを用いたトレーニングにより,クリーントークンと逆トークンを線形に組み合わせることで,モデルスープが実現可能であることを示す。
論文 参考訳（メタデータ） (2022-10-10T17:58:14Z) - SparseAdapter: An Easy Approach for Improving the Parameter-Efficiency
of Adapters [96.52807311742198]
我々は、ネットワークプルーニングのレンズを通して、アダプタのパラメータ効率を再検討する。
スパース比が最大80%に達すると、SparseAdapterは標準のAdapterよりも同等あるいは優れたパフォーマンスを達成できることがわかった。
論文 参考訳（メタデータ） (2022-10-09T15:28:48Z) - AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large
Language Models [119.7093605087114]
大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。
これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。
パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
論文 参考訳（メタデータ） (2022-05-24T23:41:22Z) - AdapterBias: Parameter-efficient Token-dependent Representation Shift
for Adapters in NLP Tasks [55.705355299065474]
数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。
近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。
本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
論文 参考訳（メタデータ） (2022-04-30T16:49:41Z) - Finetuning Pretrained Transformers into RNNs [81.72974646901136]
トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。
線形複雑リカレント変種は自己回帰生成に適していることが証明されている。
この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
論文 参考訳（メタデータ） (2021-03-24T10:50:43Z) - AdapterDrop: On the Efficiency of Adapters in Transformers [53.845909603631945]
大規模に事前訓練されたトランスフォーマーモデルは、微調整に計算コストがかかり、推論に時間がかかり、大きなストレージ要求がある。
最近のアプローチでは、より小さなモデルをトレーニングし、モデルサイズを動的に削減し、軽量アダプタをトレーニングすることで、これらの欠点に対処している。
論文 参考訳（メタデータ） (2020-10-22T17:49:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。