論文の概要: PrunedLoRA: Robust Gradient-Based structured pruning for Low-rank Adaptation in Fine-tuning

• arxiv url: http://arxiv.org/abs/2510.00192v1
• Date: Tue, 30 Sep 2025 19:10:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.220412
• Title: PrunedLoRA: Robust Gradient-Based structured pruning for Low-rank Adaptation in Fine-tuning
• Title（参考訳）: PrunedLoRA:ファインチューニングにおける低ランク適応のためのロバスト勾配型構造化プルーニング
• Authors: Xin Yu, Cong Xie, Ziyu Zhao, Tiantian Fan, Lingzhou Xue, Zhi Zhang,
• Abstract要約: 低ランク適応(LoRA)は、大規模言語モデルのパラメータ効率の良い微調整のパラダイムとして広く使われている。 構造化プルーニングを利用して高代表性の高い低ランクアダプタを得る新しいフレームワークである textitPrunedLoRA を提案する。
• 参考スコア（独自算出の注目度）: 18.3077556191671
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank adaptation (LoRA) has become a widely used paradigm for parameter-efficient fine-tuning of large language models, yet its representational capacity often lags behind full fine-tuning. Within the context of LoRA, a key open question is how to obtain expressive low-rank adapters from over-parameterized spaces. We propose \textit{PrunedLoRA}, a new framework that leverages structured pruning to obtain highly representative low-rank adapters from an over-parameterized initialization. Unlike prior approaches that impose a fixed low-rank budget, PrunedLoRA dynamically prunes less important components during fine-tuning and prevents their reactivation, enabling flexible and adaptive rank allocation. For structured pruning, by minimizing the pruning error for overall loss, we provide fine-grained pruning and recovery updates in a gradient-based pruning strategy with grounded interpretation. We provide the first theoretical analysis of the robustness of structured pruning and provably show that under the impact of weight perturbation, gradient-based pruning is more robust than activation-based pruning with respect to overall loss. Empirically, PrunedLoRA consistently outperforms LoRA and its variants across supervised fine-tuning tasks in mathematical reasoning, code generation, and natural language understanding, and it also demonstrates advantages over existing structured pruning methods across diverse sparsity levels.
• Abstract（参考訳）: 低ランク適応(LoRA)は、大きな言語モデルのパラメータ効率の良い微調整のパラダイムとして広く使われているが、その表現能力は完全な微調整に遅れることが多い。 LoRAの文脈において、鍵となるオープンな疑問は、過パラメータ空間から表現力のある低ランクのアダプタを得る方法である。 我々は、構造化プルーニングを利用した新しいフレームワークである‘textit{PrunedLoRA} を提案し、過パラメータ化初期化から高代表的な低ランクアダプタを得る。 固定された低ランクの予算を課す以前のアプローチとは異なり、PrunedLoRAは微調整中に重要でないコンポーネントを動的に実行し、それらの再活性化を防止し、柔軟で適応的なランク割り当てを可能にする。 構造化プルーニングでは, 全体の損失に対するプルーニング誤差を最小化することにより, グラデーションベースプルーニング戦略におけるきめ細かなプルーニングとリカバリの更新を行う。 本研究では, 構造的刈り込みの堅牢性に関する最初の理論的解析を行い, 重量摂動の影響下において, 勾配型刈り込みは, 全体としての損失に対して, 活性化型刈り込みよりも頑健であることを示す。 経験的に、PrunedLoRAは数学的推論、コード生成、自然言語理解において教師付き微調整タスクにまたがるLoRAとその変種を一貫して上回り、また、様々な空間レベルの既存の構造化プルーニングメソッドに対する利点も示している。

関連論文リスト

• NIRVANA: Structured pruning reimagined for large language models compression [50.651730342011014]
  直近のゼロショット保存精度と頑健な微調整のバランスをとるために, NIRVANAを導入した。 構造化プルーニングによって引き起こされる固有の課題にさらに対処するため、NIRVANAは層やモジュール間の適応的な空間割当機構を取り入れている。 Llama3, Qwen, T5モデルで行った実験では、NIRVANAは等価な空間制約の下で既存の構造化プルーニング法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-17T17:59:00Z)
• Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
  Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。 現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。 本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
  論文  参考訳（メタデータ） (2025-06-30T23:54:23Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
  LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。 提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-07-01T17:28:59Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。