論文の概要: Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation

• arxiv url: http://arxiv.org/abs/2410.22952v1
• Date: Wed, 30 Oct 2024 12:08:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:28:38.079473
• Title: Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation
• Title（参考訳）: 世帯変換による事前学習型視覚変換器の適応
• Authors: Wei Dong, Yuan Sun, Yiting Yang, Xing Zhang, Zhijun Lin, Qingsen Yan, Haokui Zhang, Peng Wang, Yang Yang, Hengtao Shen,
• Abstract要約: 一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
• 参考スコア（独自算出の注目度）: 53.88562288388169
• License:
• Abstract: A common strategy for Parameter-Efficient Fine-Tuning (PEFT) of pre-trained Vision Transformers (ViTs) involves adapting the model to downstream tasks by learning a low-rank adaptation matrix. This matrix is decomposed into a product of down-projection and up-projection matrices, with the bottleneck dimensionality being crucial for reducing the number of learnable parameters, as exemplified by prevalent methods like LoRA and Adapter. However, these low-rank strategies typically employ a fixed bottleneck dimensionality, which limits their flexibility in handling layer-wise variations. To address this limitation, we propose a novel PEFT approach inspired by Singular Value Decomposition (SVD) for representing the adaptation matrix. SVD decomposes a matrix into the product of a left unitary matrix, a diagonal matrix of scaling values, and a right unitary matrix. We utilize Householder transformations to construct orthogonal matrices that efficiently mimic the unitary matrices, requiring only a vector. The diagonal values are learned in a layer-wise manner, allowing them to flexibly capture the unique properties of each layer. This approach enables the generation of adaptation matrices with varying ranks across different layers, providing greater flexibility in adapting pre-trained models. Experiments on standard downstream vision tasks demonstrate that our method achieves promising fine-tuning performance.
• Abstract（参考訳）: 事前学習された視覚変換器(ViT)のパラメータ効率の良い微調整(PEFT)のための一般的な戦略は、低ランク適応行列を学習することで、下流タスクにモデルを適応させることである。 この行列は下投射行列と上投射行列の積に分解され、LoRAやAdapterのような一般的な手法で示されるように、学習可能なパラメータの数を減らすためにボトルネック次元性は不可欠である。 しかし、これらの低ランク戦略は一般的に固定されたボトルネック次元を採用しており、レイヤーワイドなバリエーションを扱う際の柔軟性を制限している。 この制限に対処するため,適応行列を表現するために,Singular Value Decomposition (SVD) にヒントを得た新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。 本研究では,一元行列を効率よく模倣する直交行列を構成するために,ベクトルのみを必要とするハウスタイマー変換を利用する。 対角線値は層的に学習され、各層の固有の特性を柔軟に捉えることができる。 このアプローチにより、異なる層にまたがる異なるランクの適応行列の生成が可能になり、事前訓練されたモデルに適応する際の柔軟性が向上する。 標準的なダウンストリーム視覚タスクの実験により,本手法が有望な微調整性能を実現することを示す。

関連論文リスト

• SVFit: Parameter-Efficient Fine-Tuning of Large Pre-Trained Models Using Singular Values [12.137869917556415]
  大規模事前学習モデル(LPM)は、多種多様な自然言語処理やコンピュータビジョンタスクにおいて例外的な性能を示した。 これらのモデルを完全に微調整すると、特にリソース制約のある環境では、大きなメモリの問題が発生します。 本稿では,臨界特異値をトレーニング可能なパラメータとして用いた低ランク行列に対する特異値分解(SVD)を利用した新しいPEFT手法であるSVFitを提案する。
  論文  参考訳（メタデータ） (2024-09-09T08:44:53Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Matrix-Transformation Based Low-Rank Adaptation (MTLoRA): A Brain-Inspired Method for Parameter-Efficient Fine-Tuning [11.037221461758806]
  マトリックス変換に基づく低ランク適応(MTLoRA)は、脳の機能はその幾何学的構造によって形成されるという考えから着想を得ている。 MTLoRAは8つのタスクでパフォーマンスが約1.0%向上する。
  論文  参考訳（メタデータ） (2024-03-12T09:32:25Z)
• Vision Transformer Pruning Via Matrix Decomposition [0.0]
  ビジョン・トランスフォーマー・プルーニングの目的は、データセットの線形射影の次元を、それらの関連する重要度スコアを学習することによって推定することである。 本稿では,行列分解法の実装と比較により,線形射影の次元と複雑さをさらに削減する。
  論文  参考訳（メタデータ） (2023-08-21T16:40:51Z)
• Singular value decomposition based matrix surgery [0.0]
  ランダム行列の条件数を減らし,制御する手法を開発した。 良条件行列および不条件行列の点雲の持続的ホモロジー(PH)への影響について検討する。
  論文  参考訳（メタデータ） (2023-02-22T15:30:08Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。