論文の概要: TASO: Task-Aligned Sparse Optimization for Parameter-Efficient Model Adaptation

• arxiv url: http://arxiv.org/abs/2509.17688v1
• Date: Mon, 22 Sep 2025 12:29:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.373134
• Title: TASO: Task-Aligned Sparse Optimization for Parameter-Efficient Model Adaptation
• Title（参考訳）: TASO:パラメータ効率の良いモデル適応のためのタスク適応スパース最適化
• Authors: Daiye Miao, Yufang Liu, Jie Wang, Changzhi Sun, Yunke Zhang, Demei Yan, Shaokang Dong, Qi Zhang, Yuanbin Wu,
• Abstract要約: LoRAは、その単純さと有効性から、パラメータ効率の高い微調整法として最も広く使われている。 多くの研究により、LoRAは、訓練可能なパラメータの数を増やすだけでなく、微調整の有効性を阻害する、かなりのパラメータ冗長性をもたらすことが示されている。 本稿では,事前訓練されたモデルの重みから重要情報を活用してLoRA冗長性を緩和する冗長化手法TASOを提案する。
• 参考スコア（独自算出の注目度）: 19.91254891769464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LoRA has become one of the most widely used parameter-efficient fine-tuning methods due to its simplicity and effectiveness. However, numerous studies have shown that LoRA often introduces substantial parameter redundancy, which not only increases the number of trainable parameters but also hinders the effectiveness of fine-tuning. Since identifying redundant parameters in LoRA is inherently difficult, how to eliminate them efficiently and accurately remains a challenging problem. In this paper, we propose TASO, a redundancy reduction method that leverages importance information from the pretrained model's weights to mitigate LoRA redundancy. Specifically, we estimate parameter importance on downstream tasks and identify task-specific core regions based on the distribution of importance scores. The location information of these core regions is then used to determine the sparse structure of LoRA modules, enabling redundancy removal before fine-tuning. Our approach significantly reduces the number of trainable parameters required for task adaptation, while providing a novel task-aligned perspective for LoRA redundancy reduction. Experimental results demonstrate that, with a parameter budget comparable to LoRA with rank $r = 1$, TASO consistently outperforms standard LoRA across multiple tasks, achieving strong fine-tuning performance while effectively eliminating redundant parameters.
• Abstract（参考訳）: LoRAは、その単純さと有効性から、パラメータ効率の高い微調整法として最も広く使われている。 しかし、多くの研究により、LoRAは訓練可能なパラメータの数を増やすだけでなく、微調整の有効性を阻害するかなりのパラメータ冗長性をもたらすことが示されている。 LoRAで冗長パラメータを識別するのは本質的に難しいため、効率的に正確に除去する方法は難しい問題である。 本稿では,事前学習したモデルの重みから重要情報を活用し,ロラ冗長性を緩和する冗長化手法TASOを提案する。 具体的には、下流タスクにおけるパラメータの重要度を推定し、重要度スコアの分布に基づいてタスク固有のコア領域を特定する。 これらのコア領域の位置情報は、LoRAモジュールのスパース構造を決定するために使用され、微調整前に冗長性を取り除くことができる。 提案手法は,タスク適応に必要なトレーニング可能なパラメータの数を大幅に削減すると同時に,LoRA冗長性低減のための新しいタスクアラインな視点を提供する。 実験結果から,ランク$r=1$のLoRAに匹敵するパラメータ予算を持つTASOは,複数のタスクで標準のLoRAを一貫して上回り,冗長なパラメータを効果的に排除しつつ,優れた微調整性能を実現していることがわかった。

関連論文リスト

• A Sensitivity-Driven Expert Allocation Method in LoRA-MoE for Efficient Fine-Tuning [0.6906005491572401]
  パラメータ感度のLoRA-SMoEに基づいて専門家数を割当てる手法を提案する。 実験の結果,LoRA-SMoE手法はトレーニング可能なパラメータの数を減らしながらモデル性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2025-05-06T13:22:46Z)
• In-Context Meta LoRA Generation [61.690065588534296]
  Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
  論文  参考訳（メタデータ） (2025-01-29T13:12:01Z)
• DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution [28.589498108609202]
  Low-Rank Adaptation (LoRA) は、ウェイト行列の差分パラメータ予算要件を無視したバイパスフレームワークに依存している。 DoRAは、高ランクのLoRA層を構造化シングルランクコンポーネントに分解し、パラメータ予算の動的プルーニングを可能にする。 実験結果から,LORAやフルモデルファインチューニングと比較して,DoRAの競争性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-05-27T17:02:27Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA [45.38491644250814]
  部分回転型低ランク適応(PRoLoRA)は層内共有機構である。 PRoLoRAはその利点を保ち、ピアパラメータ共有手法の欠点を効果的に回避する。 実験によりPRoLoRAのパラメータ効率が著しく向上した。
  論文  参考訳（メタデータ） (2024-02-24T13:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。