論文の概要: Compress then Merge: From Multiple LoRAs into One Low-Rank Adapter

• arxiv url: http://arxiv.org/abs/2606.03723v1
• Date: Tue, 02 Jun 2026 14:42:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.077987
• Title: Compress then Merge: From Multiple LoRAs into One Low-Rank Adapter
• Title（参考訳）: Compressとマージ:複数のLoRAから1つの低ランクアダプタへ
• Authors: Zhengbao He, Ruiqi Ding, Zhehao Huang, Ruikai Yang, Tao Li, Xiaolin Huang,
• Abstract要約: 我々は、$T$ LoRAsを1つのランクにマージする問題-$r$ LoRAについて研究する。 既存の-then-Compressパイプラインは、ランク制約を後付けとして扱う。 逆パイプラインであるCompress-then-Merge (CtM)を提案する。
• 参考スコア（独自算出の注目度）: 31.066992554963093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) enables parameter-efficient specialization of foundation models, but the proliferation of task-specific adapters fragments capabilities across many adapters, complicating reuse and deployment. We study the problem of merging $T$ LoRAs into a single rank-$r$ LoRA, thereby preserving the benefits of low-rank structure. Existing Merge-then-Compress pipelines treat the rank constraint as an afterthought: they merge adapters in the full parameter space, then compress the merged result to rank $r$ via truncated SVD. However, full-parameter merging may destroy the low-rank structure, making it difficult for subsequent compression to recover an effective rank-$r$ LoRA. We propose Compress-then-Merge (CtM), a reversed pipeline that enforces the rank-$r$ bottleneck before merging: CtM computes shared $r$-dimensional subspaces using only the LoRA weights to capture cross-adapter common structure, projects each adapter into the shared subspaces to obtain $r\times r$ coordinates, and then applies standard merging rules in this reduced space. CtM guarantees a rank-$r$ LoRA by construction, avoiding post-hoc truncation, and enables efficient computation in the core space spanned by concatenated LoRA factors. Experiments across multiple models and tasks show that CtM consistently outperforms existing single-LoRA-output baselines while narrowing the performance gap to full-parameter merging methods.
• Abstract（参考訳）: ローランク適応(LoRA)は、基本モデルのパラメータ効率の良い特殊化を可能にするが、多くのアダプタでタスク固有のアダプタのフラグメントが増加し、再利用とデプロイが複雑になる。 我々は、T$LoRAsを1つのランク(r$LoRA)にマージすることで、低ランク構造の利点を保存できる問題を研究する。 既存のMerge-then-Compressパイプラインは、ランク制約を後付けとして扱う: 完全なパラメータ空間でアダプタをマージし、マージした結果を、truncated SVDを介して$r$に圧縮する。 しかし、フルパラメータのマージは低ランク構造を破壊する可能性があるため、後続の圧縮が有効なランク-r$ LoRAを回復することは困難である。 CtMは、LoRA重みのみを用いて共有$r$次元のサブスペースを計算し、各アダプタを共有サブスペースに投影し、r$r\times r$座標を得る。 CtM は構成によりランク-$r$LoRA を保証し、ホット後のトランケーションを回避し、連結された LoRA 因子にまたがるコア空間での効率的な計算を可能にする。 複数のモデルとタスクにわたる実験により、CtMは既存の単一LoRA出力のベースラインを一貫して上回り、パフォーマンスのギャップをフルパラメータのマージメソッドに狭めている。

関連論文リスト

• Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging [29.33065526693412]
  MergePipeは、重量空間モデルマージのための予算対応実行層である。 エキスパート読み取りのI/Oを桁違いに減らし、最大で11倍のスピードアップを達成できる。
  論文  参考訳（メタデータ） (2026-05-28T07:15:38Z)
• Evolutionary Negative Module Pruning for Better LoRA Merging [46.397675691417675]
  複数のLow-Rank Adaptation専門家を単一のバックボーンにマージすることは、効率的なマルチタスクデプロイメントのための有望なアプローチである。 既存の手法は、ウェイトやサブスペースアライメントによる干渉を緩和しようとする。 そこで本研究では,これらのモジュールをマージ前に検出・排除する,プラグアンドプレイのLoRAプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2026-04-20T03:13:18Z)
• Crowded in B-Space: Calibrating Shared Directions for LoRA Merging [12.949322198287417]
  個別に訓練されたLoRAアダプタをマージすることは、共同マルチタスクトレーニングの実用的な代替手段であるが、しばしばパフォーマンスを損なう。 LoRAマージ干渉の主源は出力側行列の$B$であることを示す。 我々は、オーバーシェアされた方向をダウンスケールし、マージされた更新を再スケールすることで、マージ前に$B$をキャリブレートするデータフリーなPicoを提案する。
  論文  参考訳（メタデータ） (2026-04-18T04:33:16Z)
• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs [26.212332132619736]
  マルチタスクファインタニングにおいて,複数の$A$行列と1つの共有$B$を持つ非対称なマルチローラ設計を提案する。 提案手法は,既存のマルチLoRA手法と比較して,同等あるいは優れた平均精度でタスク間のバランスの取れた性能を実現する。
  論文  参考訳（メタデータ） (2025-09-29T19:16:14Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights [75.83625828306839]
  textbfDrag-and-Drop LLMs (textitDnD)は、未ラベルのタスクプロンプトをLoRAの重み更新に直接マッピングすることで、タスク単位のトレーニングを廃止する。 ライトウェイトテキストエンコーダは、各プロンプトバッチを条件埋め込みに蒸留し、カスケードされた超畳み込みデコーダによって全LORA行列に変換する。
  論文  参考訳（メタデータ） (2025-06-19T15:38:21Z)
• Uni-LoRA: One Vector is All You Need [21.893406288629734]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。 Tied-LoRA、VeRA、VB-LoRAといった最近の研究は、トレーニング可能なパラメータ空間を減らすために追加の制約を導入することで、さらなる効率を推し進めている。 パラメータ空間削減戦略は, 統一フレームワークUni-LoRA内で定式化可能であることを示す。
  論文  参考訳（メタデータ） (2025-06-01T03:00:09Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• S-LoRA: Serving Thousands of Concurrent LoRA Adapters [59.490751234925206]
  パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。 本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
  論文  参考訳（メタデータ） (2023-11-06T17:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。