論文の概要: TASO: Task-Aligned Sparse Optimization for Parameter-Efficient Model Adaptation
- arxiv url: http://arxiv.org/abs/2509.17688v1
- Date: Mon, 22 Sep 2025 12:29:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-23 18:58:16.373134
- Title: TASO: Task-Aligned Sparse Optimization for Parameter-Efficient Model Adaptation
- Title（参考訳）: TASO:パラメータ効率の良いモデル適応のためのタスク適応スパース最適化
- Authors: Daiye Miao, Yufang Liu, Jie Wang, Changzhi Sun, Yunke Zhang, Demei Yan, Shaokang Dong, Qi Zhang, Yuanbin Wu,
- Abstract要約: LoRAは、その単純さと有効性から、パラメータ効率の高い微調整法として最も広く使われている。
多くの研究により、LoRAは、訓練可能なパラメータの数を増やすだけでなく、微調整の有効性を阻害する、かなりのパラメータ冗長性をもたらすことが示されている。
本稿では,事前訓練されたモデルの重みから重要情報を活用してLoRA冗長性を緩和する冗長化手法TASOを提案する。
- 参考スコア（独自算出の注目度）: 19.91254891769464
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LoRA has become one of the most widely used parameter-efficient fine-tuning methods due to its simplicity and effectiveness. However, numerous studies have shown that LoRA often introduces substantial parameter redundancy, which not only increases the number of trainable parameters but also hinders the effectiveness of fine-tuning. Since identifying redundant parameters in LoRA is inherently difficult, how to eliminate them efficiently and accurately remains a challenging problem. In this paper, we propose TASO, a redundancy reduction method that leverages importance information from the pretrained model's weights to mitigate LoRA redundancy. Specifically, we estimate parameter importance on downstream tasks and identify task-specific core regions based on the distribution of importance scores. The location information of these core regions is then used to determine the sparse structure of LoRA modules, enabling redundancy removal before fine-tuning. Our approach significantly reduces the number of trainable parameters required for task adaptation, while providing a novel task-aligned perspective for LoRA redundancy reduction. Experimental results demonstrate that, with a parameter budget comparable to LoRA with rank $r = 1$, TASO consistently outperforms standard LoRA across multiple tasks, achieving strong fine-tuning performance while effectively eliminating redundant parameters.
- Abstract（参考訳）: LoRAは、その単純さと有効性から、パラメータ効率の高い微調整法として最も広く使われている。
しかし、多くの研究により、LoRAは訓練可能なパラメータの数を増やすだけでなく、微調整の有効性を阻害するかなりのパラメータ冗長性をもたらすことが示されている。
LoRAで冗長パラメータを識別するのは本質的に難しいため、効率的に正確に除去する方法は難しい問題である。
本稿では,事前学習したモデルの重みから重要情報を活用し,ロラ冗長性を緩和する冗長化手法TASOを提案する。
具体的には、下流タスクにおけるパラメータの重要度を推定し、重要度スコアの分布に基づいてタスク固有のコア領域を特定する。
これらのコア領域の位置情報は、LoRAモジュールのスパース構造を決定するために使用され、微調整前に冗長性を取り除くことができる。
提案手法は,タスク適応に必要なトレーニング可能なパラメータの数を大幅に削減すると同時に,LoRA冗長性低減のための新しいタスクアラインな視点を提供する。
実験結果から,ランク$r=1$のLoRAに匹敵するパラメータ予算を持つTASOは,複数のタスクで標準のLoRAを一貫して上回り,冗長なパラメータを効果的に排除しつつ,優れた微調整性能を実現していることがわかった。
関連論文リスト
- Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。
本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文 参考訳（メタデータ） (2026-01-30T10:54:51Z) - Adaptive LoRA Merge with Parameter Pruning for Low-Resource Generation [9.156064716689833]
LoRAマージ技術は、異なるタスクでトレーニングされた複数のLoRAモジュールを統合する。
以前の方法はLoRAパラメータを凍結し続けるため、適応性に制限がある。
最小限のタスクデータを用いた微調整によりLoRAパラメータを更新およびプーンするLoRAマージ手法を提案する。
論文 参考訳（メタデータ） (2025-05-30T03:34:25Z) - A Sensitivity-Driven Expert Allocation Method in LoRA-MoE for Efficient Fine-Tuning [0.6906005491572401]
パラメータ感度のLoRA-SMoEに基づいて専門家数を割当てる手法を提案する。
実験の結果,LoRA-SMoE手法はトレーニング可能なパラメータの数を減らしながらモデル性能を向上させることができることがわかった。
論文 参考訳（メタデータ） (2025-05-06T13:22:46Z) - In-Context Meta LoRA Generation [61.690065588534296]
Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。
In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。
ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
論文 参考訳（メタデータ） (2025-01-29T13:12:01Z) - LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [12.733972494875713]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。
低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。
LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2024-11-22T14:19:01Z) - Task-Specific Directions: Definition, Exploration, and Utilization in Parameter Efficient Fine-Tuning [65.31677646659895]
大規模な言語モデルは、下流タスクで素晴らしいパフォーマンスを示すが、全てのパラメータを完全に微調整する場合は、リソース消費がかなり必要である。
本稿では,タスク固有の方向(TSD)を明確に定義するフレームワークを提案し,その特性と実用化の課題について検討する。
次に、微調整過程におけるTLDの影響を最大化する新しいアプローチであるLoRA-Dashを導入する。
論文 参考訳（メタデータ） (2024-09-02T08:10:51Z) - DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution [28.589498108609202]
Low-Rank Adaptation (LoRA) は、ウェイト行列の差分パラメータ予算要件を無視したバイパスフレームワークに依存している。
DoRAは、高ランクのLoRA層を構造化シングルランクコンポーネントに分解し、パラメータ予算の動的プルーニングを可能にする。
実験結果から,LORAやフルモデルファインチューニングと比較して,DoRAの競争性能が向上することが示された。
論文 参考訳（メタデータ） (2024-05-27T17:02:27Z) - MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。
我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。
実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
論文 参考訳（メタデータ） (2024-02-27T07:14:12Z) - PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA [45.38491644250814]
部分回転型低ランク適応(PRoLoRA)は層内共有機構である。
PRoLoRAはその利点を保ち、ピアパラメータ共有手法の欠点を効果的に回避する。
実験によりPRoLoRAのパラメータ効率が著しく向上した。
論文 参考訳（メタデータ） (2024-02-24T13:39:05Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z) - AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。
重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。
我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-03-18T22:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。