論文の概要: Exploring Sparsity for Parameter Efficient Fine Tuning Using Wavelets

• arxiv url: http://arxiv.org/abs/2505.12532v2
• Date: Tue, 03 Jun 2025 21:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 16:24:49.011133
• Title: Exploring Sparsity for Parameter Efficient Fine Tuning Using Wavelets
• Title（参考訳）: ウェーブレットを用いたパラメータ効率の良い微調整のための空間探索
• Authors: Ahmet Bilican, M. Akın Yılmaz, A. Murat Tekalp, R. Gökberk Cinbiş,
• Abstract要約: 残留行列のウェーブレット領域における高度にスパースな更新を学習する新しいPEFT法であるWavelet Fine-Tuning(WaveFT)を提案する。 WaveFTはトレーニング可能なパラメータの正確な制御を可能にし、微粒なキャパシティ調整と極めて低いパラメータ数で優れた性能を提供する。
• 参考スコア（独自算出の注目度）: 5.161899009439659
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Efficiently adapting large foundation models is critical, especially with tight compute and memory budgets. Parameter-Efficient Fine-Tuning (PEFT) methods such as LoRA offer limited granularity and effectiveness in few-parameter regimes. We propose Wavelet Fine-Tuning (WaveFT), a novel PEFT method that learns highly sparse updates in the wavelet domain of residual matrices. WaveFT allows precise control of trainable parameters, offering fine-grained capacity adjustment and excelling with remarkably low parameter count, potentially far fewer than LoRA's minimum, ideal for extreme parameter-efficient scenarios. Evaluated on personalized text-to-image generation using Stable Diffusion XL as baseline, WaveFT significantly outperforms LoRA and other PEFT methods, especially at low parameter counts; achieving superior subject fidelity, prompt alignment, and image diversity.
• Abstract（参考訳）: 大規模な基盤モデルを効果的に適用することは、特に厳密な計算とメモリ予算において重要である。 LoRAのようなパラメータ効率の良いファインチューニング(PEFT)手法は、小パラメータ状態において限られた粒度と有効性を提供する。 残留行列のウェーブレット領域における高度にスパースな更新を学習する新しいPEFT法であるWavelet Fine-Tuning(WaveFT)を提案する。 WaveFTは、訓練可能なパラメータの正確な制御を可能にし、極度のパラメータ効率のシナリオに理想的なLoRAの最小値よりもはるかに少ない、非常に低いパラメータ数で、きめ細かいキャパシティ調整と優れた性能を提供する。 安定拡散XLをベースラインとして、パーソナライズされたテキスト・ツー・イメージ生成の評価を行い、WaveFTはLoRAや他のPEFT法、特に低パラメータ数において、優れた主観的忠実性、迅速なアライメント、画像の多様性を実現している。

関連論文リスト

• FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts [47.35092228595656]
  FLoEは、(i)MoEベースの低ランク適応のためのタスククリティカルトランスフォーマー層を動的に識別するFisher情報誘導重要度スコアリング機構、(ii)網羅的検索なしで特定のデータセット上で最適なLoRAランクを自動的に決定するベイズ最適化駆動ランクアロケータである。 多様なLCMとベンチマークの実験により、FLoEは顕著な効率と精度のトレードオフを達成し、FLoEは特に迅速な適応を必要とする資源制約環境において有利であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-31T10:27:08Z)
• Parameter-Efficient Fine-Tuning with Column Space Projection [4.379304291229695]
  そこで我々は,微調整重みのスペクトル特性に基づくPEFT法として初めて理論的に確立されたPiCaを提案する。 従来のPEFT法と比較して,PiCaは最先端性能を実現していることを示す。
  論文  参考訳（メタデータ） (2025-05-26T16:52:40Z)
• FISH-Tuning: Enhancing PEFT Methods with Fisher Information [3.9274736061387854]
  FISH Maskは選択に基づくPEFT手法であり、近似フィッシャー情報を用いて事前訓練されたパラメータの臨界部分集合を識別する。 FISH MaskをLoRA,Adapter,およびそれらの変種を含むPEFT手法に組み込む新しいアプローチである textbfFISH-Tuning を提案する。
  論文  参考訳（メタデータ） (2025-04-05T04:05:55Z)
• Quantum-PEFT: Ultra parameter-efficient fine-tuning [46.145294417722184]
  量子PEFTは、基礎となるフルランクだが驚くほどパラメータ効率のよい量子ユニタリパラメータ化を利用する。 我々は,量子PEFTが,次元が大きくなるにつれて,最低ランクのLoRAよりもはるかに少ないトレーニング可能なパラメータ数を達成することを示す。 本稿では,言語と視覚の伝達学習ベンチマークにQuantum-PEFTを適用し,パラメータ効率の顕著な優位性を示す。
  論文  参考訳（メタデータ） (2025-03-07T14:01:25Z)
• Sparsity May Be All You Need: Sparse Random Parameter Adaptation [7.269130161558109]
  アライメントとタスク適応のための大規模言語モデルの完全な微調整は、モデルのサイズが大きくなるにつれて、極めて高価になっている。 そこで本研究では,トレーニング対象のモデルパラメータのごく一部をランダムに選択することで,トレーニング可能なパラメータの数を減らすことを提案する。
  論文  参考訳（メタデータ） (2025-02-21T22:23:16Z)
• Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
  ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。 微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。 これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
  論文  参考訳（メタデータ） (2025-02-01T04:18:28Z)
• Parameter-Efficient Fine-Tuning via Selective Discrete Cosine Transform [10.565509997395504]
  本稿では,このフロンティアを推し進めるために,Selective Discrete Cosine Transformation (SDCTFT) を提案する。 その一般的な考え方は、DCTの優れたエネルギー圧縮とデコリレーション特性を活用することである。 4つのベンチマークデータセットの実験では、より優れた精度、計算コストの削減、ストレージ要求の低減が示されている。
  論文  参考訳（メタデータ） (2024-10-09T16:07:42Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models [18.877891285367216]
  我々はパラメータの重要度を連続的に計算する新しい選択型PEFT法である$textID3$を紹介した。 解析的に、$textID3$は勾配更新数を2倍に減らし、計算効率が向上することを示した。
  論文  参考訳（メタデータ） (2024-08-26T17:58:53Z)
• Structured Unrestricted-Rank Matrices for Parameter Efficient Fine-tuning [38.80020737321214]
  構造化非制限ランク行列(SURM)に基づく効率的なパラメータ微調整(PEFT)のためのフレームワークを提案する。 SURMは、LoRAの低ランク行列を置換しながら、様々な画像分類タスクにおいて5-7%の精度向上を実現している。 また、GLUEベンチマークでは、アダプタのパラメータ数を最大12倍に削減する(ほぼ品質が低下する)。
  論文  参考訳（メタデータ） (2024-06-25T17:26:05Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers [52.199303258423306]
  本稿では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。 提案手法である textbfDEFT は,RoBERTa$_mathrmLarge$ で textbf44.94% ,Flan-T5$_mathrmXXL$ で textbf53.19% (エンコーダ密度) と textbf90.60% (デコーダ密度) で常に活性化密度を減少させることができる。
  論文  参考訳（メタデータ） (2024-02-02T21:25:46Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。