論文の概要: Spectral Adapter: Fine-Tuning in Spectral Space
- arxiv url: http://arxiv.org/abs/2405.13952v1
- Date: Wed, 22 May 2024 19:36:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 20:23:46.668791
- Title: Spectral Adapter: Fine-Tuning in Spectral Space
- Title(参考訳): スペクトルアダプタ:スペクトル空間における微細調整
- Authors: Fangzhao Zhang, Mert Pilanci,
- Abstract要約: 本研究では, 既訓練重量行列のスペクトル情報を微調整手順に組み込むことにより, 現在のPEFT法の強化について検討した。
提案するファインチューニングモデルにより,パラメータ効率とチューニング性能が向上し,マルチアダプタ融合のメリットが期待できることを示す。
- 参考スコア(独自算出の注目度): 45.72323731094864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent developments in Parameter-Efficient Fine-Tuning (PEFT) methods for pretrained deep neural networks have captured widespread interest. In this work, we study the enhancement of current PEFT methods by incorporating the spectral information of pretrained weight matrices into the fine-tuning procedure. We investigate two spectral adaptation mechanisms, namely additive tuning and orthogonal rotation of the top singular vectors, both are done via first carrying out Singular Value Decomposition (SVD) of pretrained weights and then fine-tuning the top spectral space. We provide a theoretical analysis of spectral fine-tuning and show that our approach improves the rank capacity of low-rank adapters given a fixed trainable parameter budget. We show through extensive experiments that the proposed fine-tuning model enables better parameter efficiency and tuning performance as well as benefits multi-adapter fusion. The code will be open-sourced for reproducibility.
- Abstract(参考訳): パラメータ効率のよい深層ニューラルネットワーク(PEFT)手法の最近の進歩は、広く関心を集めている。
本研究では,既訓練重量行列のスペクトル情報を微調整法に組み込むことにより,現在のPEFT法の拡張について検討する。
本研究では,2つのスペクトル適応機構,すなわち上特異ベクトルの加法的チューニングと直交回転について検討し,まず事前学習した重みの特異値分解(SVD)を行い,次いで上スペクトル空間を微調整する。
本稿では,スペクトル微調整の理論解析を行い,固定トレーニング可能なパラメータ予算を条件として,低ランクアダプタのランクキャパシティを向上することを示す。
提案するファインチューニングモデルにより,パラメータ効率とチューニング性能が向上し,マルチアダプタ融合のメリットが期待できることを示す。
コードは再現性のためにオープンソース化される。
関連論文リスト
- Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
生成モデルのための新しいスペクトル対応適応フレームワークを提案する。
本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。
本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
論文 参考訳(メタデータ) (2024-05-31T17:43:35Z) - Variance-Reducing Couplings for Random Features: Perspectives from Optimal Transport [57.73648780299374]
ランダム機能(RF)は、機械学習におけるカーネルメソッドをスケールアップするための一般的なテクニックであり、正確なカーネル評価をモンテカルロ推定に置き換える。
我々は、理論的洞察と数値アルゴリズムを用いて最適な輸送の統一的な枠組みを用いて、ユークリッドおよび離散入力空間上で定義されたカーネルに対して、新しい高性能なRF結合を開発する。
パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
論文 参考訳(メタデータ) (2024-05-26T12:25:09Z) - Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。
DyTは既存のPEFT法と比較すると、同等またはそれ以上の性能を実現している。
論文 参考訳(メタデータ) (2024-03-18T14:05:52Z) - Spectrum-BERT: Pre-training of Deep Bidirectional Transformers for
Spectral Classification of Chinese Liquors [0.0]
本稿では,中国酒のスペクトル分類のための双方向トランスフォーマーの事前学習手法を提案し,これをSpectrum-BERTと略した。
我々はNext Curve Prediction (NCP) と Masked Curve Model (MCM) の2つの事前学習タスクを精巧に設計し、未ラベルのサンプルを効果的に活用できるようにした。
比較実験では、提案したSpectrum-BERTは、複数のメトリクスでベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2022-10-22T13:11:25Z) - Optimizing Training Trajectories in Variational Autoencoders via Latent
Bayesian Optimization Approach [0.0]
教師なしおよび半教師なしのML手法は、物理学、化学、材料科学の様々な分野に広く採用されている。
教師なしおよび半教師付きMLに対するハイパーパラメータ軌道最適化のための潜在ベイズ最適化(zBO)手法を提案する。
本手法の適用により,MNISTの離散的および連続的回転不変表現とプラズモンナノ粒子材料システムの実験データを求めることができる。
論文 参考訳(メタデータ) (2022-06-30T23:41:47Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳(メタデータ) (2022-05-26T12:51:32Z) - Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。
分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
論文 参考訳(メタデータ) (2021-03-07T00:15:44Z) - A Study of Genetic Algorithms for Hyperparameter Optimization of Neural
Networks in Machine Translation [0.0]
遺伝的アルゴリズムを用いて,ダーウィンのファイトテスト理論の生存をモデルとした自動チューニング手法を提案する。
研究結果は,提案手法であるGAがハイパーパラメータのランダムな選択よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-09-15T02:24:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。