論文の概要: Revisiting LoRA through the Lens of Parameter Redundancy: Spectral Encoding Helps

• arxiv url: http://arxiv.org/abs/2506.16787v1
• Date: Fri, 20 Jun 2025 07:09:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.361851
• Title: Revisiting LoRA through the Lens of Parameter Redundancy: Spectral Encoding Helps
• Title（参考訳）: パラメータ冗長性レンズによるLoRAの再検討:スペクトルエンコーディング支援
• Authors: Jiashun Cheng, Aochuan Chen, Nuo Chen, Ziqi Gao, Yuhan Li, Jia Li, Fugee Tsung,
• Abstract要約: Low-Rank Adaptation (LoRA) は、大規模な基礎モデルを微調整するための顕著なテクニックとして登場した。 その成功にもかかわらず、LoRAのキャパシティと効率を制限するかなりのパラメータ冗長性はボトルネックとして認識されている。 underlineSpectral-underlineencoding underlineLow-underlineRank underlineAdaptation (SeLoRA)を紹介する。
• 参考スコア（独自算出の注目度）: 37.00767702936744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) has emerged as a prominent technique for fine-tuning large foundation models. Despite its successes, the substantial parameter redundancy, which limits the capacity and efficiency of LoRA, has been recognized as a bottleneck. In this work, we systematically investigate the impact of redundancy in fine-tuning LoRA and reveal that reducing density redundancy does not degrade expressiveness. Based on this insight, we introduce \underline{S}pectral-\underline{e}ncoding \underline{L}ow-\underline{R}ank \underline{A}daptation (SeLoRA), which harnesses the robust expressiveness of spectral bases to re-parameterize LoRA from a sparse spectral subspace. Designed with simplicity, SeLoRA enables seamless integration with various LoRA variants for performance boosting, serving as a scalable plug-and-play framework. Extensive experiments substantiate that SeLoRA achieves greater efficiency with fewer parameters, delivering superior performance enhancements over strong baselines on various downstream tasks, including commonsense reasoning, math reasoning, and code generation.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大規模な基礎モデルを微調整するための顕著なテクニックとして登場した。 その成功にもかかわらず、LoRAのキャパシティと効率を制限するかなりのパラメータ冗長性はボトルネックとして認識されている。 本研究は, 微調整LORAにおける冗長性の影響を系統的に検討し, 密度冗長性の低下が表現性に悪影響を及ぼさないことを示す。 この知見に基づいて、スペクトル基底の頑健な表現性を利用して、疎スペクトル部分空間からLoRAを再パラメータ化する、 \underline{S}pectral-\underline{e}ncoding \underline{L}ow-\underline{R}ank \underline{A}daptation (SeLoRA)を導入する。 シンプルさで設計されたSeLoRAは、スケーラブルなプラグイン・アンド・プレイフレームワークとして機能し、パフォーマンス向上のために様々なLoRA亜種とのシームレスな統合を可能にする。 大規模な実験は、SeLoRAがより少ないパラメータでより効率を向上し、コモンセンス推論、数学推論、コード生成など、さまざまな下流タスクにおける強力なベースラインよりも優れたパフォーマンス向上を実現することを実証している。

関連論文リスト

• Uni-LoRA: One Vector is All You Need [13.938834666101679]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。 本稿では,これらの LoRA 変種が用いたパラメータ空間削減戦略を統一的な枠組みで定式化できることを示す。 Uni-LoRAの統一的なビューの下では、LLM全体のLoRAパラメータを再構築するためには、単一のトレーニング可能なベクトルしか必要としない。
  論文  参考訳（メタデータ） (2025-06-01T03:00:09Z)
• SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
  Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。 本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-18T14:12:40Z)
• RaSA: Rank-Sharing Low-Rank Adaptation [67.40422142257091]
  低ランク適応(LoRA)は大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。 階層間の部分的なランク共有を活用することで,LoRAの表現能力を高める革新的な拡張であるRan-Sharing Low-Rank Adaptation (RaSA)を導入する。 我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。
  論文  参考訳（メタデータ） (2025-03-16T17:16:36Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。