論文の概要: Exploring Sparsity for Parameter Efficient Fine Tuning Using Wavelets
- arxiv url: http://arxiv.org/abs/2505.12532v2
- Date: Tue, 03 Jun 2025 21:46:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 16:24:49.011133
- Title: Exploring Sparsity for Parameter Efficient Fine Tuning Using Wavelets
- Title（参考訳）: ウェーブレットを用いたパラメータ効率の良い微調整のための空間探索
- Authors: Ahmet Bilican, M. Akın Yılmaz, A. Murat Tekalp, R. Gökberk Cinbiş,
- Abstract要約: 残留行列のウェーブレット領域における高度にスパースな更新を学習する新しいPEFT法であるWavelet Fine-Tuning(WaveFT)を提案する。
WaveFTはトレーニング可能なパラメータの正確な制御を可能にし、微粒なキャパシティ調整と極めて低いパラメータ数で優れた性能を提供する。
- 参考スコア（独自算出の注目度）: 5.161899009439659
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Efficiently adapting large foundation models is critical, especially with tight compute and memory budgets. Parameter-Efficient Fine-Tuning (PEFT) methods such as LoRA offer limited granularity and effectiveness in few-parameter regimes. We propose Wavelet Fine-Tuning (WaveFT), a novel PEFT method that learns highly sparse updates in the wavelet domain of residual matrices. WaveFT allows precise control of trainable parameters, offering fine-grained capacity adjustment and excelling with remarkably low parameter count, potentially far fewer than LoRA's minimum, ideal for extreme parameter-efficient scenarios. Evaluated on personalized text-to-image generation using Stable Diffusion XL as baseline, WaveFT significantly outperforms LoRA and other PEFT methods, especially at low parameter counts; achieving superior subject fidelity, prompt alignment, and image diversity.
- Abstract（参考訳）: 大規模な基盤モデルを効果的に適用することは、特に厳密な計算とメモリ予算において重要である。
LoRAのようなパラメータ効率の良いファインチューニング(PEFT)手法は、小パラメータ状態において限られた粒度と有効性を提供する。
残留行列のウェーブレット領域における高度にスパースな更新を学習する新しいPEFT法であるWavelet Fine-Tuning(WaveFT)を提案する。
WaveFTは、訓練可能なパラメータの正確な制御を可能にし、極度のパラメータ効率のシナリオに理想的なLoRAの最小値よりもはるかに少ない、非常に低いパラメータ数で、きめ細かいキャパシティ調整と優れた性能を提供する。
安定拡散XLをベースラインとして、パーソナライズされたテキスト・ツー・イメージ生成の評価を行い、WaveFTはLoRAや他のPEFT法、特に低パラメータ数において、優れた主観的忠実性、迅速なアライメント、画像の多様性を実現している。
関連論文リスト
- FISH-Tuning: Enhancing PEFT Methods with Fisher Information [3.9274736061387854]
FISH Maskは選択に基づくPEFT手法であり、近似フィッシャー情報を用いて事前訓練されたパラメータの臨界部分集合を識別する。
FISH MaskをLoRA,Adapter,およびそれらの変種を含むPEFT手法に組み込む新しいアプローチである textbfFISH-Tuning を提案する。
論文 参考訳（メタデータ） (2025-04-05T04:05:55Z) - Parameter-Efficient Fine-Tuning via Selective Discrete Cosine Transform [10.565509997395504]
本稿では,このフロンティアを推し進めるために,Selective Discrete Cosine Transformation (SDCTFT) を提案する。
その一般的な考え方は、DCTの優れたエネルギー圧縮とデコリレーション特性を活用することである。
4つのベンチマークデータセットの実験では、より優れた精度、計算コストの削減、ストレージ要求の低減が示されている。
論文 参考訳（メタデータ） (2024-10-09T16:07:42Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - Structured Unrestricted-Rank Matrices for Parameter Efficient Fine-tuning [38.80020737321214]
構造化非制限ランク行列(SURM)に基づく効率的なパラメータ微調整(PEFT)のためのフレームワークを提案する。
SURMは、LoRAの低ランク行列を置換しながら、様々な画像分類タスクにおいて5-7%の精度向上を実現している。
また、GLUEベンチマークでは、アダプタのパラメータ数を最大12倍に削減する(ほぼ品質が低下する)。
論文 参考訳（メタデータ） (2024-06-25T17:26:05Z) - ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。
特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
論文 参考訳（メタデータ） (2024-05-30T17:26:02Z) - LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。
LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。
LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
論文 参考訳（メタデータ） (2023-05-28T15:15:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。