論文の概要: VectorFit : Adaptive Singular & Bias Vector Fine-Tuning of Pre-trained Foundation Models

• arxiv url: http://arxiv.org/abs/2503.19530v1
• Date: Tue, 25 Mar 2025 10:36:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:51:27.511296
• Title: VectorFit : Adaptive Singular & Bias Vector Fine-Tuning of Pre-trained Foundation Models
• Title（参考訳）: VectorFit : Adaptive Singular & Bias Vector Fine-Tuning of Pre-trained Foundation Models
• Authors: Suhas G Hegde, Shilpy Kaur, Aruna Tiwari,
• Abstract要約: 本稿では,事前学習した重み行列の特異ベクトルとバイアスを適応的に学習する,効果的かつ容易に展開可能なアプローチであるVectorFitを提案する。 事前学習した重みの構造的および変換的特性を利用することで、フル微調整に匹敵する高次更新が可能であることを実証した。
• 参考スコア（独自算出の注目度）: 0.8875650122536799
• License:
• Abstract: Popular PEFT methods achieve parameter efficiency by assuming that incremental weight updates are inherently low-rank, which often leads to a performance gap compared to full fine-tuning. While recent methods have attempted to address this limitation, they typically lack sufficient parameter and memory efficiency. We propose VectorFit, an effective and easily deployable approach that adaptively trains the singular vectors and biases of pre-trained weight matrices. We demonstrate that the utilization of structural and transformational characteristics of pre-trained weights enables high-rank updates comparable to those of full fine-tuning. As a result, VectorFit achieves superior performance with 9X less trainable parameters compared to state-of-the-art PEFT methods. Through extensive experiments over 17 datasets spanning diverse language and vision tasks such as natural language understanding and generation, question answering, image classification, and image generation, we exhibit that VectorFit consistently outperforms baselines, even in extremely low-budget scenarios.
• Abstract（参考訳）: 一般的なPEFT法は、インクリメンタルウェイト更新が本質的に低ランクであると仮定することでパラメータ効率が向上し、フル微調整に比べて性能の差が生じることが多い。 最近の手法では、この制限に対処しようと試みているが、通常は十分なパラメータとメモリ効率が不足している。 本稿では,事前学習した重み行列の特異ベクトルとバイアスを適応的に学習する,効果的かつ容易に展開可能なアプローチであるVectorFitを提案する。 事前学習した重みの構造的および変換的特性を利用することで、フル微調整に匹敵する高次更新が可能であることを実証した。 結果として、VectorFitは、最先端のPEFT法と比較して、トレーニング可能なパラメータが9倍少ないため、優れたパフォーマンスを実現している。 自然言語理解や生成,質問応答,画像分類,画像生成など,さまざまな言語や視覚タスクにまたがる17のデータセットに対する広範な実験を通じて,極めて低予算シナリオにおいても,VectorFitがベースラインを一貫して上回ることを示す。

関連論文リスト

• Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models [32.68721299475496]
  Low-Rank Adaptation (LoRA)とその変種は、その有効性から大きな注目を集めている。 本稿では,2種類の適応,すなわち変換と残留適応を組み合わせた新しいPEFT法を提案する。 主観駆動・制御可能ジェネレーションにおける微調整安定拡散モデルの実験を行った。
  論文  参考訳（メタデータ） (2025-01-15T11:10:37Z)
• NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
  微調整された事前学習モデルは、しばしば最先端のパフォーマンスをもたらすが、全てのパラメータを更新する際に計算コストがかかる。 本稿では,軽量ニューラルネットワークを用いた非線形PEFT手法NEATを提案し,事前学習した重みの非線形変換を学習する。 理論解析により, NEATは等価な表現性を維持しつつ, LoRA よりも高い効率を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-02T17:29:23Z)
• SVFit: Parameter-Efficient Fine-Tuning of Large Pre-Trained Models Using Singular Values [12.137869917556415]
  大規模事前学習モデル(LPM)は、多種多様な自然言語処理やコンピュータビジョンタスクにおいて例外的な性能を示した。 これらのモデルを完全に微調整すると、特にリソース制約のある環境では、大きなメモリの問題が発生します。 本稿では,臨界特異値をトレーニング可能なパラメータとして用いた低ランク行列に対する特異値分解(SVD)を利用した新しいPEFT手法であるSVFitを提案する。
  論文  参考訳（メタデータ） (2024-09-09T08:44:53Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。