論文の概要: Kernelized Sparse Fine-Tuning with Bi-level Parameter Competition for Vision Models

• arxiv url: http://arxiv.org/abs/2510.24037v1
• Date: Tue, 28 Oct 2025 03:39:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.743527
• Title: Kernelized Sparse Fine-Tuning with Bi-level Parameter Competition for Vision Models
• Title（参考訳）: ビジョンモデルに対する二レベルパラメータ競合をもつカーネル化スパースファインチューニング
• Authors: Shufan Shen, Junshu Sun, Shuhui Wang, Qingming Huang,
• Abstract要約: スパースチューニングは、下流タスクに最も関係のある重みだけを調整することで、顕著なパフォーマンスを達成する。 上述の制限を克服する一段法SNELLAを提案する。 SNELLAは低メモリ使用量でSOTA性能を達成する。
• 参考スコア（独自算出の注目度）: 80.50996301430108
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) aims to adapt pre-trained vision models to downstream tasks. Among PEFT paradigms, sparse tuning achieves remarkable performance by adjusting only the weights most relevant to downstream tasks, rather than densely tuning the entire weight matrix. Current methods follow a two-stage paradigm. First, it locates task-relevant weights by gradient information, which overlooks the parameter adjustments during fine-tuning and limits the performance. Second, it updates only the located weights by applying a sparse mask to the gradient of the weight matrix, which results in high memory usage due to the storage of all weight matrices in the optimizer. In this paper, we propose a one-stage method named SNELLA to overcome the above limitations. For memory usage, SNELLA selectively updates the weight matrix by adding it to another sparse matrix that is merged by two low-rank learnable matrices. We extend the low-rank decomposition by introducing nonlinear kernel functions, thereby increasing the rank of the resulting merged matrix to prevent the interdependency among weight updates, enabling better adaptation to downstream tasks. For locating task-relevant weights, we propose an adaptive bi-level sparsity allocation mechanism that encourages weights to compete across and inside layers based on their importance scores in an end-to-end manner. Extensive experiments are conducted on classification, segmentation, and generation tasks using different pre-trained vision models. The results show that SNELLA achieves SOTA performance with low memory usage. Notably, SNELLA obtains 1.8% (91.9% v.s. 90.1%) higher Top-1 accuracy on the FGVC benchmark compared to SPT-LoRA. Compared to previous methods, SNELLA achieves a memory reduction of 31.1%-39.9% across models with parameter scales from 86M to 632M. Our source codes are available at https://github.com/ssfgunner/SNELL.
• Abstract（参考訳）: パラメータ効率細調整(PEFT)は、訓練済みの視覚モデルを下流のタスクに適応させることを目的としている。 PEFTパラダイムの中で、スパースチューニングは、全体の重み行列を密に調整するのではなく、下流タスクに最も関係のある重みだけを調整することで、顕著なパフォーマンスを達成する。 現在の手法は2段階のパラダイムに従っている。 まず、勾配情報によりタスク関連重みを見つけ、微調整中のパラメータ調整を見落とし、性能を制限する。 第2に、重量行列の勾配にスパースマスクを適用することで、位置重みのみを更新し、オプティマイザ内の全ての重み行列の保存により、高いメモリ使用率をもたらす。 本稿では,この制限を克服する一段法SNELLAを提案する。 メモリ使用量について、SNELLAは2つの低ランクの学習可能な行列にマージされた別のスパース行列に追加することにより、重み行列を選択的に更新する。 非線形カーネル関数を導入して低ランク分解を拡張し、その結果のマージ行列のランクを増大させ、重み更新間の相互依存性を防止し、下流タスクへの適応性を向上する。 タスク関連重みの特定のために,両階層間における重みの競合を促す適応的二段階空間割当機構を提案する。 様々な事前学習された視覚モデルを用いて、分類、セグメンテーション、生成タスクについて広範囲にわたる実験を行った。 その結果,SNELLAは低メモリ使用量でSOTA性能を実現することがわかった。 特にSNELLAは、SPT-LoRAと比較して、FGVCベンチマークで1.8%(91.9%対90.1%)高いTop-1の精度を得る。 従来の手法と比較して、SNELLAはパラメータスケール86Mから632Mのモデルで31.1%-39.9%のメモリ削減を実現している。 ソースコードはhttps://github.com/ssfgunner/SNELLで公開しています。

関連論文リスト

• BLaST: High Performance Inference and Pretraining using BLock Sparse Transformers [18.53326467276254]
  Bl)ock (a)nd (S)parse (T)ransformers (BLaST)を紹介する。 BLaST は行列乗算における最大95%の間隔と無視可能な精度損失を達成できる。 推論メモリフットプリントを4.45倍削減した16GPUのLlama 3.2の2.2倍の推論速度を示す。
  論文  参考訳（メタデータ） (2025-07-03T18:53:54Z)
• Expanding Sparse Tuning for Low Memory Usage [103.43560327427647]
  メモリ使用量が少ないスパースチューニングのためのSNELL(Sparse tuning with kerNelized LoRA)法を提案する。 低メモリ使用量を達成するため、SNELLはスカラー化のための調整可能な行列を2つの学習可能な低ランク行列に分解する。 コンペティションに基づくスペーシフィケーション機構は、チューナブルウェイトインデックスの保存を避けるためにさらに提案される。
  論文  参考訳（メタデータ） (2024-11-04T04:58:20Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
  微調整された事前学習モデルは、しばしば最先端のパフォーマンスをもたらすが、全てのパラメータを更新する際に計算コストがかかる。 本稿では,軽量ニューラルネットワークを用いた非線形PEFT手法NEATを提案し,事前学習した重みの非線形変換を学習する。 理論解析により, NEATは等価な表現性を維持しつつ, LoRA よりも高い効率を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-02T17:29:23Z)
• From Low Rank Gradient Subspace Stabilization to Low-Rank Weights: Observations, Theories, and Applications [85.17672240603011]
  大規模言語モデルにおける重み行列の非一様低ランク特性について検討する。 WeLore(Weight Low-Rank Projection)は、重み圧縮とメモリ効率の微調整を一体化したものである。
  論文  参考訳（メタデータ） (2024-07-15T21:05:20Z)
• WeGeFT: Weight-Generative Fine-Tuning for Multi-Faceted Efficient Adaptation of Large Models [8.481707805559589]
  WeGeFT(Weight-Generative Fine-Tuning)は、トレーニング済みの重みから直接微調整重みを生成することを学習する新しい手法である。 この設計は、パラメータ、表現、計算、メモリの多面的効率を実現し、LoRAとその変種の性能を維持したり、超えたりしている。
  論文  参考訳（メタデータ） (2023-12-01T16:33:57Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Monarch: Expressive Structured Matrices for Efficient and Accurate Training [64.6871423399431]
  大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。 計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。 ハードウェア効率のよい行列(Monarch)のクラスを提案する。
  論文  参考訳（メタデータ） (2022-04-01T17:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。