論文の概要: Spectral Adapter: Fine-Tuning in Spectral Space

• arxiv url: http://arxiv.org/abs/2405.13952v2
• Date: Mon, 04 Nov 2024 03:35:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:42:52.010837
• Title: Spectral Adapter: Fine-Tuning in Spectral Space
• Title（参考訳）: スペクトルアダプタ:スペクトル空間における微細調整
• Authors: Fangzhao Zhang, Mert Pilanci,
• Abstract要約: 本研究では, 既訓練重量行列のスペクトル情報を微調整手順に組み込むことにより, 現在のPEFT法の強化について検討した。 提案するファインチューニングモデルにより,パラメータ効率とチューニング性能が向上し,マルチアダプタ融合のメリットが期待できることを示す。
• 参考スコア（独自算出の注目度）: 45.72323731094864
• License:
• Abstract: Recent developments in Parameter-Efficient Fine-Tuning (PEFT) methods for pretrained deep neural networks have captured widespread interest. In this work, we study the enhancement of current PEFT methods by incorporating the spectral information of pretrained weight matrices into the fine-tuning procedure. We investigate two spectral adaptation mechanisms, namely additive tuning and orthogonal rotation of the top singular vectors, both are done via first carrying out Singular Value Decomposition (SVD) of pretrained weights and then fine-tuning the top spectral space. We provide a theoretical analysis of spectral fine-tuning and show that our approach improves the rank capacity of low-rank adapters given a fixed trainable parameter budget. We show through extensive experiments that the proposed fine-tuning model enables better parameter efficiency and tuning performance as well as benefits multi-adapter fusion.
• Abstract（参考訳）: パラメータ効率のよい深層ニューラルネットワーク(PEFT)手法の最近の進歩は、広く関心を集めている。 本研究では,既訓練重量行列のスペクトル情報を微調整法に組み込むことにより,現在のPEFT法の拡張について検討する。 本研究では,2つのスペクトル適応機構,すなわち上特異ベクトルの加法的チューニングと直交回転について検討し,まず事前学習した重みの特異値分解(SVD)を行い,次いで上スペクトル空間を微調整する。 スペクトル微調整の理論的解析を行い,パラメータ予算が固定された場合の低ランクアダプタのランクキャパシティを向上させることを示す。 提案するファインチューニングモデルにより,パラメータ効率とチューニング性能が向上し,マルチアダプタ融合のメリットが期待できることを示す。

関連論文リスト

• Point-Calibrated Spectral Neural Operators [54.13671100638092]
  点レベル適応スペクトルベースで関数を近似することで演算子マッピングを学習する。 点平衡スペクトル演算子は点レベル適応スペクトルベースで関数を近似することで演算子マッピングを学習する。
  論文  参考訳（メタデータ） (2024-10-15T08:19:39Z)
• Orthogonal Finetuning for Direct Preference Optimization [46.38508475165443]
  重み付き優先度最適化(RoPO)法によるDPOの微調整を提案する。 RoPOは、超球面エネルギー不変量を維持するために、重みパラメータの回転および等級ストレッチング更新を行う。 我々のモデルは、トレーニング可能なパラメータの0.0086%しか使用せずに、元の表現能力を維持しながら、人間の好みと完全に一致します。
  論文  参考訳（メタデータ） (2024-09-23T09:09:16Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Partial Fine-Tuning: A Successor to Full Fine-Tuning for Vision Transformers [50.23439411530435]
  部分微調整は、効率と精度を同時に向上できる革新的で有望な方向であることを示す。 部分的な微調整のための適切な層の選択を導くための,新しい微調整角度測定法を提案する。 広範囲のデータセットとモデルに関する包括的な実験は、部分的な微調整の大きな可能性を検証する。
  論文  参考訳（メタデータ） (2023-12-25T10:11:34Z)
• Spectrum-BERT: Pre-training of Deep Bidirectional Transformers for Spectral Classification of Chinese Liquors [0.0]
  本稿では,中国酒のスペクトル分類のための双方向トランスフォーマーの事前学習手法を提案し,これをSpectrum-BERTと略した。 我々はNext Curve Prediction (NCP) と Masked Curve Model (MCM) の2つの事前学習タスクを精巧に設計し、未ラベルのサンプルを効果的に活用できるようにした。 比較実験では、提案したSpectrum-BERTは、複数のメトリクスでベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-10-22T13:11:25Z)
• Optimizing Training Trajectories in Variational Autoencoders via Latent Bayesian Optimization Approach [0.0]
  教師なしおよび半教師なしのML手法は、物理学、化学、材料科学の様々な分野に広く採用されている。 教師なしおよび半教師付きMLに対するハイパーパラメータ軌道最適化のための潜在ベイズ最適化(zBO)手法を提案する。 本手法の適用により,MNISTの離散的および連続的回転不変表現とプラズモンナノ粒子材料システムの実験データを求めることができる。
  論文  参考訳（メタデータ） (2022-06-30T23:41:47Z)
• Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
  重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。 分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
  論文  参考訳（メタデータ） (2021-03-07T00:15:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。