論文の概要: Regularizing Subspace Redundancy of Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2507.20745v1
• Date: Mon, 28 Jul 2025 11:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:58.099837
• Title: Regularizing Subspace Redundancy of Low-Rank Adaptation
• Title（参考訳）: 低ランク適応の正規化部分空間冗長性
• Authors: Yue Zhu, Haiwen Diao, Shang Gao, Jiazuo Yu, Jiawen Zhu, Yunzhi Zhuge, Shuai Hao, Xu Jia, Lu Zhang, Ying Zhang, Huchuan Lu,
• Abstract要約: 本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
• 参考スコア（独自算出の注目度）: 54.473090597164834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) and its variants have delivered strong capability in Parameter-Efficient Transfer Learning (PETL) by minimizing trainable parameters and benefiting from reparameterization. However, their projection matrices remain unrestricted during training, causing high representation redundancy and diminishing the effectiveness of feature adaptation in the resulting subspaces. While existing methods mitigate this by manually adjusting the rank or implicitly applying channel-wise masks, they lack flexibility and generalize poorly across various datasets and architectures. Hence, we propose ReSoRA, a method that explicitly models redundancy between mapping subspaces and adaptively Regularizes Subspace redundancy of Low-Rank Adaptation. Specifically, it theoretically decomposes the low-rank submatrices into multiple equivalent subspaces and systematically applies de-redundancy constraints to the feature distributions across different projections. Extensive experiments validate that our proposed method consistently facilitates existing state-of-the-art PETL methods across various backbones and datasets in vision-language retrieval and standard visual classification benchmarks. Besides, as a training supervision, ReSoRA can be seamlessly integrated into existing approaches in a plug-and-play manner, with no additional inference costs. Code is publicly available at: https://github.com/Lucenova/ReSoRA.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)とその変種は、トレーニング可能なパラメータを最小化し、再パラメータ化の恩恵を受けることにより、パラメータ効率のよいトランスファーラーニング(PETL)において強力な機能を提供している。 しかし、それらの射影行列は訓練中に制限されないままであり、高い表現冗長性を引き起こし、結果として生じる部分空間における特徴適応の有効性を低下させる。 既存の手法では、ランクを手動で調整したり、チャンネルワイズマスクを暗黙的に適用することでこれを緩和するが、柔軟性に欠け、さまざまなデータセットやアーキテクチャをまたいだ一般化が不十分である。 そこで我々はReSoRAを提案する。ReSoRAは、マッピング部分空間間の冗長性を明示的にモデル化し、ローランド適応の部分空間冗長性を適応的に正規化する手法である。 具体的には、理論的にはローランク部分行列を複数の等価部分空間に分解し、異なる射影にわたる特徴分布に系統的に非冗長性制約を適用する。 広汎な実験により,提案手法は,視覚言語検索や標準視覚分類ベンチマークにおいて,様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進することを確認した。 さらに、トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。 コードは、https://github.com/Lucenova/ReSoRA.comで公開されている。

関連論文リスト

• Efficient Federated Class-Incremental Learning of Pre-Trained Models via Task-agnostic Low-rank Residual Adaptation [22.454292668849035]
  Fed-TaLoRA(Federated Task-Agnostic Low-rank Residual Adaptation) 我々は,最小限のオーバーヘッドで正確な知識統合を実現するための,新たな残量更新機構を開発した。 我々の方法論的革新は,タスク非依存適応,ポストアグリゲーションモデル校正,LORAモジュールの戦略的配置の3つの主要な戦略に起因している。
  論文  参考訳（メタデータ） (2025-05-18T09:19:13Z)
• Sparsity Outperforms Low-Rank Projections in Few-Shot Adaptation [14.086036250269613]
  ラベル付きサンプルがほとんどない新しいドメインにビジョンランゲージモデルを適用することは、過度なオーバーフィットと計算上の制約のため、課題である。 本稿では,ごく少数のパラメータを動的に調整する新しいスパース最適化フレームワークを提案する。 11の多様なデータセットの実験により、SOはメモリオーバーヘッドを低減しつつ、最先端の数発の適応性能を実現している。
  論文  参考訳（メタデータ） (2025-04-16T19:10:34Z)
• GeneralizeFormer: Layer-Adaptive Model Generation across Test-Time Distribution Shifts [58.95913531746308]
  テスト時間領域の一般化の問題は、モデルが複数のソースドメインで訓練され、トレーニング中に見たことのないターゲットドメインで調整される場合である。 textitGeneralizeFormer と呼ばれる軽量メタ学習変換器を用いて,推論中に複数の層パラメータを生成することを提案する。
  論文  参考訳（メタデータ） (2025-02-15T10:10:49Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)
• Robust Locality-Aware Regression for Labeled Data Classification [5.432221650286726]
  本稿では,ロバスト局所性認識回帰(RLAR)という特徴抽出フレームワークを提案する。 本モデルでは,クラス間の平均差を使わずに,適応的に境界表現学習を行うために再ターゲット回帰を導入する。 外れ値の乱れを緩和し、過度な適合を防止するため、L2,1ノルムによる正規化項とともに回帰項と局所性を考慮した項を計測する。
  論文  参考訳（メタデータ） (2020-06-15T11:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。