論文の概要: SSR-Merge: Subspace Signal Routing for Training-Free LoRA Merging in Diffusion Models

• arxiv url: http://arxiv.org/abs/2606.10617v1
• Date: Tue, 09 Jun 2026 09:16:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.417342
• Title: SSR-Merge: Subspace Signal Routing for Training-Free LoRA Merging in Diffusion Models
• Title（参考訳）: SSR-Merge:拡散モデルにおける訓練不要ロラマージのための部分空間信号ルーティング
• Authors: Zhengxuan Wei, Yi Dong, Zonghui Li, Xianhui Lin, Xing Liu, Hong Gu, Shaofeng Zhang, Wenbin Li, Qi Fan,
• Abstract要約: Low-Rank Adaptation (LoRA) 統合は、拡散モデルのために複数の訓練されたLoRAから多種多様な生成能力を効率的に組み合わせることができる。 既存のLoRAマージ技術は、しばしば深刻なパラメータ干渉に悩まされ、共有パラメータ空間における破壊的な衝突を引き起こす。 本稿では、パラメータ空間マージを行う代わりに、内部信号のルーティングによって干渉を解決するサブスペース信号ルーティング(SSR)を提案する。
• 参考スコア（独自算出の注目度）: 27.413287599101327
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) merging can efficiently combine diverse generative capabilities from multiple trained LoRAs for a diffusion model. However, existing LoRA merging techniques often suffer from severe parameter interference, causing destructive collisions in the shared parameter space. To address this, we propose Subspace Signal Routing (SSR), which resolves interference by routing internal signals instead of performing parameter-space merge. Specifically, SSR first constructs a unified subspace by concatenating candidate LoRAs along the rank dimension. Next, SSR employs an inverse correlation matrix to decorrelate mixed signals within this space. Finally, a directional guide matrix steers these purified signals into their respective task-specific subspaces. We provide a rigorous theoretical analysis proving that SSR aligns with the Ordinary Least Squares (OLS) solution, thereby ensuring mathematical optimality. We utilize the additivity of sufficient statistics to design a streaming algorithm. This enables on-the-fly updates that significantly reduce memory overhead and computation time. Extensive experiments validate that SSR significantly outperforms state-of-the-art methods while maintaining comparable efficiency. Code is available at https://github.com/nagara214/SSR-Merge.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) 統合は、拡散モデルのために複数の訓練されたLoRAから多種多様な生成能力を効率的に組み合わせることができる。 しかし、既存のLoRAマージ技術は、しばしば深刻なパラメータ干渉に悩まされ、共有パラメータ空間における破壊的な衝突を引き起こす。 そこで本研究では,パラメータ空間マージを行う代わりに,内部信号のルーティングによる干渉を解消するサブスペース信号ルーティング(SSR)を提案する。 具体的には、SSR はまず、ランク次元に沿って候補 LoRA を連結することで統一部分空間を構築する。 次に、SSRは逆相関行列を用いて、この空間内の混合信号をデコレーションする。 最後に、方向案内行列は、これらの浄化された信号をそれぞれのタスク固有の部分空間に操る。 我々は、SSRが通常の最小二乗法(OLS)の解と整合していることを証明する厳密な理論的解析を行い、数学的最適性を確保する。 我々は,ストリーミングアルゴリズムの設計に十分な統計量の付加性を利用する。 これによりオンザフライでのアップデートが可能になり、メモリオーバーヘッドと計算時間を大幅に削減できる。 大規模な実験により、SSRは同等の効率を維持しながら最先端の手法を著しく上回っていることが検証された。 コードはhttps://github.com/nagara214/SSR-Mergeで入手できる。

関連論文リスト

• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy [50.63908869296697]
  複数のローランド適応(LoRA)モジュールを統合することで汎用システムの構築が期待できる。 優先重み付きクロスエントロピー擬似空間を用いて重みを重み付けするTARA-Mergingを提案する。 8つのビジョンと6つのNLIベンチマークで、TARA-MergingはバニラとLoRA対応のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-03-27T11:07:46Z)
• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• HyperAdaLoRA: Accelerating LoRA Rank Allocation During Training via Hypernetworks without Sacrificing Performance [27.391727025825546]
  Low-Rank Adaptation (LoRA)は、大規模言語モデルを微調整するための有望なアプローチとして登場した。 本稿では,ハイパーネットワークを活用してAdaLoRAの収束を促進する新しいフレームワークであるHyperAdaLoRAを提案する。 本手法は性能を犠牲にすることなく高速な収束を実現する。
  論文  参考訳（メタデータ） (2025-10-03T00:15:59Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• Uni-LoRA: One Vector is All You Need [21.893406288629734]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。 Tied-LoRA、VeRA、VB-LoRAといった最近の研究は、トレーニング可能なパラメータ空間を減らすために追加の制約を導入することで、さらなる効率を推し進めている。 パラメータ空間削減戦略は, 統一フレームワークUni-LoRA内で定式化可能であることを示す。
  論文  参考訳（メタデータ） (2025-06-01T03:00:09Z)
• SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
  Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。 本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-18T14:12:40Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。