論文の概要: S2FT: Parameter-Efficient Fine-Tuning in Sparse Spectrum Domain
- arxiv url: http://arxiv.org/abs/2605.08589v1
- Date: Sat, 09 May 2026 01:10:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.761148
- Title: S2FT: Parameter-Efficient Fine-Tuning in Sparse Spectrum Domain
- Title（参考訳）: S2FT:スパーススペクトル領域におけるパラメータ効率の良いファインチューニング
- Abstract要約: 本稿では,重量変化のスペクトルはスパースではなく,パワー・ユニフォームとして分布することが観察された。
そこで本研究では,空間領域行列をスパーススペクトルで重み変化に変換できる非可逆変換を提案する。
我々のS2FTは, 0.08%のトレーニングパラメータのみを用いて, 優れた性能が得られることを示した。
- 参考スコア（独自算出の注目度）: 21.312703360901285
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter Efficient Fine-Tuning (PEFT) is a key technique for adapting a large pretrained model to downstream tasks by fine-tuning only a small number of parameters. Recent methods based on Fourier transforms have further reduced the fine-tuned parameters scale by only fine-tuning a few spectral coefficients. Its basic assumption is that the weight change δW is a spatial-domain matrix with a sparse spectrum. However, in this paper, we observe that the spectrum of weight change is not sparse, but instead distributed like power-uniform. This fact implies that fine-tuning only a few spectral coefficients is insufficient to accurately model the weight change with uniform spectrum. To address this issue, we propose to seek an invertible transformation that can transform a latent spatial-domain matrix with sparse spectrum to the weight change, and then perform PEFT on such sparse spectrum domain with few spectral coefficients, called S2FT. To seek such transformation, we first pre-estimate a coarse weight change as a prior. Then, inspired by that sparse spectrum often correspond to locally smooth spatial structures, we regard this transformation as a row and column rearrangement operation on the pre-estimated weight change that smooth spatial structures while keep the structure information of neurons. Finally, we propose to solve the rearrangement search problem in a simple nearest neighbor search manner, thereby obtaining the invertible transformation. Extensive results show our S2FT achieves superior performance by only using 0.08% training parameters.
- Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)は、少数のパラメータのみを微調整することで、下流タスクに大規模な事前学習モデルを適用するための重要な手法である。
フーリエ変換に基づく最近の手法は、いくつかのスペクトル係数を微調整するだけで、微調整されたパラメータのスケールをさらに削減した。
その基本的な前提は、重み変化δWはスパーススペクトルを持つ空間領域行列であるということである。
しかし,本論文では,重量変化のスペクトルはスパースではなく,パワー・ユニフォームとして分布することが観察された。
この事実は、均一スペクトルによる重量変化を正確にモデル化するには、わずかなスペクトル係数のみを微調整することは不十分であることを示している。
この問題に対処するため、我々は、余剰スペクトルを持つ潜伏空間領域行列を重み変化に変換するための可逆変換を求め、S2FTと呼ばれるスペクトル係数の少ないスパーススペクトル領域上でPEFTを実行することを提案する。
このような変換を求めるために、まずまず、粗い重み変化を前もって推定する。
そして、そのスパーススペクトルにインスパイアされたこの変換は、しばしば局所的に滑らかな空間構造に対応し、ニューロンの構造情報を保ちながら、滑らかな空間構造を持つ事前推定重み変化の行と列の再配置操作とみなす。
最後に、簡単な近接探索方式で再配置探索問題を解くことを提案し、それによって可逆変換を得る。
その結果,S2FT は 0.08% のトレーニングパラメータのみを用いて,優れた性能を達成できた。
関連論文リスト
- Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
3次変換器は、極端なメモリと計算効率を提供する。
既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。
3次重みの離散的な更新を表す3次乗法適応を提案する。
論文 参考訳（メタデータ） (2026-08-25T12:15:56Z) - Fourier Neural Operators with rank-1 lattice points and hyperbolic cross [40.78425934640374]
emphFourier Neural operator(FNO)は、関数空間間のマッピングを学習するニューラルネットワークアーキテクチャである。
空間テンソル積格子をランク1格子点に置き換えることで、FNOの一般化誤差を改善することができることを示す。
ネットワークパラメータの削減、空間点の削減、トレーニングサンプルの削減により、より正確で効率的な近似を実現する。
論文 参考訳（メタデータ） (2026-06-07T22:55:39Z) - Low-Rank Decay for Grokking in Scale-Invariant Transformers: A Spectral-Geometric View [5.455820955578752]
我々は, スケール不変条件においても, 段階的な$UVtop$が接点成分を保持する核ノルム型スペクトル正規化器であるemphLow-Rank Decay (LRD)を提案する。
LRDは、クエリ/キー行列の高速な有効ランク崩壊を誘導し、遅延一般化(グロキング)が起こるデータ・フレクション境界を拡張する。
論文 参考訳（メタデータ） (2026-06-03T03:33:45Z) - MTL-FNO: A Lightweight Multi-Task Fourier Neural Operator for Sparse Field Reconstruction [15.401658861451809]
マルチタスクフーリエニューラルオペレータ(MTL-FNO)は、ハードパラメータ共有に基づくエンドツーエンドのジョイントトレーニングフレームワークである。
MTL-FNOは標準FNOに匹敵する精度を達成し、全体のモデルサイズを76%と60%削減した。
その結果,MTL-FNOは標準FNOに匹敵する精度を達成し,総モデルサイズを76%,FNOを60%削減した。
論文 参考訳（メタデータ） (2026-05-26T08:57:31Z) - GQA-μP: The maximal parameterization update for grouped query attention [64.99972873396649]
グループクエリアテンション(GQA)のためのPスケールの導出方法を示す。
また,GQA繰り返しハイパーパラメータ間での学習速度の伝達を示すことによって,理論的導出の有効性を示す。
論文 参考訳（メタデータ） (2026-05-14T18:03:16Z) - WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。
いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。
結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
論文 参考訳（メタデータ） (2025-11-30T16:17:34Z) - FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。
本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。
LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
論文 参考訳（メタデータ） (2024-10-12T08:10:28Z) - MaCP: Minimal yet Mighty Adaptation via Hierarchical Cosine Projection [10.300935899853748]
MaCP(Minimum yet Mighty Adaptive Cosine Projection)は、最小パラメータとメモリを必要としながら、例外的な性能を達成する。
既存の代替システムに比べて高い精度、計算量を大幅に削減し、メモリ要件を低くする。
論文 参考訳（メタデータ） (2024-10-09T16:07:42Z) - Maintaining Structural Integrity in Parameter Spaces for Parameter Efficient Fine-tuning [78.39310274926535]
さまざまな下流タスクに事前訓練された基礎モデルを適応させることは、人工知能において一般的である。
これを軽減するために、事前訓練されたモデルの重みをより資源効率の良い方法で更新するために、いくつかの微調整技術が開発されている。
本稿では,多次元パラメータ空間用に設計された一般化されたパラメータ効率の微調整フレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-23T16:04:42Z) - Spectral Adapter: Fine-Tuning in Spectral Space [45.72323731094864]
本研究では, 既訓練重量行列のスペクトル情報を微調整手順に組み込むことにより, 現在のPEFT法の強化について検討した。
提案するファインチューニングモデルにより,パラメータ効率とチューニング性能が向上し,マルチアダプタ融合のメリットが期待できることを示す。
論文 参考訳（メタデータ） (2024-05-22T19:36:55Z) - Neural Functional Transformers [99.98750156515437]
本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。
NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。
Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
論文 参考訳（メタデータ） (2023-05-22T23:38:27Z) - Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。
分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
論文 参考訳（メタデータ） (2021-03-07T00:15:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。