論文の概要: SpectralLoRA: Is Low-Frequency Structure Sufficient for LoRA Adaptation? A Spectral Analysis of Weight Updates
- arxiv url: http://arxiv.org/abs/2604.10649v1
- Date: Sun, 12 Apr 2026 13:54:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.150347
- Title: SpectralLoRA: Is Low-Frequency Structure Sufficient for LoRA Adaptation? A Spectral Analysis of Weight Updates
- Title（参考訳）: スペクトルロラ:低周波構造はLoRA適応に十分か? : 軽量化のスペクトル解析
- Authors: Rajveer Singh,
- Abstract要約: LoRAの更新は低周波成分によって普遍的に支配されていることを示す。
また,RoBERTaベースはすべてのタスクにおいてBERTベースよりも体系的にスペクトル圧縮可能であることも確認した。
- 参考スコア（独自算出の注目度）: 0.6345523830122167
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a systematic empirical study of the spectral structure of LoRA weight updates. Through 2D Discrete Cosine Transform (DCT) analysis of trained adaptation matrices across BERT-base and RoBERTa-base on four GLUE benchmarks (SST-2, MNLI, CoLA, QQP), we establish that LoRA updates are universally dominated by low-frequency components: on average, just 33% of DCT coefficients capture 90% of total spectral energy. Retaining only 10% of frequency coefficients reduces adapter storage by 10x while sacrificing only 1.95pp on SST-2. Notably, frequency masking at k=50% improves over full LoRA on 3 of 8 model-task pairs, suggesting high-frequency components act as adaptation noise. We further discover that RoBERTa-base is systematically more spectrally compressible than BERT-base across all tasks, and that task complexity governs spectral sensitivity -- NLI tasks require more frequency budget than sentiment classification. These findings motivate a new design principle for PEFT: spectral sparsity in adaptation.
- Abstract（参考訳）: 本研究は,LoRA重み更新のスペクトル構造に関する系統的研究である。
4つのGLUEベンチマーク(SST-2, MNLI, CoLA, QQP)におけるBERT-baseおよびRoBERTa-base間の適応行列の2次元離散コサイン変換(DCT)解析により,LoRA更新は低周波成分によって普遍的に支配されていることが確認された。
周波数係数の10%しか保持しないため、SST-2では1.95ppしか保存できない。
特に、k=50%の周波数マスキングは8つのモデルタスクペアのうち3つのLoRAよりも改善され、高周波成分が適応ノイズとして働くことが示唆された。
さらに,RoBERTaベースはすべてのタスクにおいてBERTベースよりも体系的にスペクトル圧縮可能であること,タスクの複雑さがスペクトル感度を制御していること,NLIタスクは感情分類よりも周波数予算を必要とすること,などが明らかになった。
これらの知見は、PEFTの新しい設計原則であるスペクトル空間の適応性を動機付けている。
関連論文リスト
- Spectral Gating Networks [65.9496901693099]
我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。
SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。
計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
論文 参考訳（メタデータ） (2026-02-07T20:00:49Z) - Frequency Regularization: Unveiling the Spectral Inductive Bias of Deep Neural Networks [21.749207209704906]
現代畳み込みニューラルネットワーク(CNN)のスペクトルバイアスについて検討する。
トレーニング中のウェイト周波数の動的変化を追跡するためのビジュアル診断フレームワークを提案する。
本稿では,レギュレータの「低域フィルタリング」強度を定量化するために,スペクトル抑圧比 (SSR) を提案する。
論文 参考訳（メタデータ） (2025-12-20T11:33:32Z) - SpectrumFM: Redefining Spectrum Cognition via Foundation Modeling [65.65474629224558]
本稿ではスペクトル認識のための新しいパラダイムを提供するスペクトルFMと呼ばれるスペクトル基盤モデルを提案する。
畳み込みニューラルネットワークを利用した革新的なスペクトルエンコーダを提案し、スペクトルデータにおける微細な局所信号構造と高レベルのグローバルな依存関係の両方を効果的に捕捉する。
2つの新しい自己教師型学習タスク、すなわちマスク付き再構成と次のスロット信号予測が、SpectrumFMの事前学習のために開発され、モデルがリッチで伝達可能な表現を学習できるようにする。
論文 参考訳（メタデータ） (2025-08-02T14:40:50Z) - FADPNet: Frequency-Aware Dual-Path Network for Face Super-Resolution [70.61549422952193]
計算コストの制限による顔超解像(FSR)は未解決の問題である。
既存のアプローチでは、全ての顔のピクセルを等しく扱い、計算資源を最適以下に割り当てる。
本稿では、低周波成分と高周波成分に顔の特徴を分解する周波数対応デュアルパスネットワークであるFADPNetを提案する。
論文 参考訳（メタデータ） (2025-06-17T02:33:42Z) - SpectrumFM: A Foundation Model for Intelligent Spectrum Management [99.08036558911242]
既存のインテリジェントスペクトル管理手法は、通常は小規模モデルに基づいており、認識精度、収束速度、一般化の顕著な制限に悩まされている。
本稿では、スペクトルFMと呼ばれる新しいスペクトル基盤モデルを提案し、スペクトル管理のための新しいパラダイムを確立する。
実験により、SpectrumFMは精度、堅牢性、適応性、少数ショット学習効率、収束速度の点で優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-05-02T04:06:39Z) - Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。
近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。
DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文 参考訳（メタデータ） (2024-11-01T14:28:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。