論文の概要: LoRASpace: A Pool-Wide Shared Substrate for Static and Dynamic Multi-LoRA Composition

• arxiv url: http://arxiv.org/abs/2610.27444v1
• Date: Tue, 20 Oct 2026 00:46:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.562484
• Title: LoRASpace: A Pool-Wide Shared Substrate for Static and Dynamic Multi-LoRA Composition
• Title（参考訳）: LoRASpace: 静的および動的マルチロラ合成のためのプールワイド共有基板
• Abstract要約: 低ランク適応(LoRA)は凍結したバックボーンに小さな低ランク行列をアタッチし、パブリックリポジトリはバックボーン毎に多数のLoRAをホストする。 各LoRAをフォワードパスで実行すると品質が保たれるが、推論時間はアクティブなLoRAの数とともに線形に増加する。 このオーバーラップをLoRASpaceというトレーニング不要のメソッドで構築し、プール毎に一度サブスペースを計算し、2つの推論モードで再利用します。
• 参考スコア（独自算出の注目度）: 2.4039777592662466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank adaptation (LoRA) attaches small low-rank matrices to a frozen backbone, and public repositories host many LoRAs per backbone, each for a different concept or task. Combining several LoRAs in one generation forces a trade-off. Merging their weights into one update needs a single forward pass, but LoRAs trained for different concepts interfere and quality drops. Running each LoRA in its own forward pass (composite) preserves quality, but inference time grows linearly with the number of active LoRAs. We study a property of LoRA pools overlooked by prior multi-LoRA work. In real LoRA pools, the stacked low-rank factors need far fewer directions than their summed ranks. Using singular value decomposition, we find the minimal subspace that keeps 99% of the factor energy. On three diffusion pools, only 46% to 57% of the summed LoRA ranks is needed, and the subspace grows sub-linearly with pool size. A 48-LoRA sub-pool of LoRA-Hub on FLAN-T5 tasks shows comparable overlap (62%), while the diversity-curated LoRA-Retriever benchmark sits near the no-overlap baseline (96%), so pool composition rather than modality predicts where compression is large. We build on this overlap with LoRASpace, a training-free method that computes the subspace once per pool and reuses it in two inference modes, a static mode at merge cost and a dynamic mode for input-dependent routing. On the diffusion pools, static LoRASpace matches composite quality at merge cost, and dynamic LoRASpace is more than 6x faster than composite with six active LoRAs on a 17-LoRA pool, mainly because it runs one backbone pass instead of six. In an ablation, static variants at the same rank match LoRASpace, so the quality gain does not depend on the pool-wide basis. On the near-orthogonal LoRA-Retriever benchmark, compression is small and gains come from coupling with external retrieval.
• Abstract（参考訳）: 低ランク適応(LoRA)は、凍結したバックボーンに小さな低ランク行列をアタッチし、パブリックリポジトリは、それぞれ異なる概念やタスクのために、バックボーン毎に多数のLoRAをホストする。 複数のLoRAを1世代にまとめると、トレードオフが生じる。 重みをひとつのアップデートにマージするには、単一のフォワードパスが必要だが、異なるコンセプトのためにトレーニングされたLoRAは干渉し、品質が低下する。 各LORAを独自のフォワードパス(コンポジット)で実行すると品質は保たれるが、推論時間はアクティブなLORAの数とともに線形に増加する。 従来のマルチLoRA作業で見落とされたLoRAプールの特性について検討する。 実際のLoRAプールでは、積み重ねられた低ランク要素は、合計ランクよりもはるかに少ない方向を必要とする。 特異値分解を用いて、因子エネルギーの99%を保持する最小部分空間を求める。 3つの拡散プールでは、合計されたLoRAランクの46%から57%しか必要とせず、サブスペースはプールサイズとともにサブ線形に成長する。 FLAN-T5 タスク上の LoRA-Hub の 48-LoRA サブプールは、同等の重複(62%)を示し、多様性を計算した LoRA-Retriever ベンチマークは、ノーオーバーラップベースライン (96%) の近くに位置している。 このオーバーラップをLoRASpaceというトレーニング不要の手法で構築し、プール毎に1回サブスペースを計算し、2つの推論モード、マージコストの静的モード、入力依存ルーティングの動的モードで再利用する。 拡散プールでは、静的LoRASpaceはマージコストで合成品質と一致し、動的LoRASpaceは、17-LoRAプール上で6つのアクティブLoRAを持つコンポジットよりも6倍以上高速である。 アブレーションでは、同じランクの静的な変種がLoRASpaceと一致しているため、品質の上昇はプール全体のベースに依存しない。 ほぼ直交のLoRA-Retrieverベンチマークでは、圧縮は小さく、外部検索との結合によって得られる。

関連論文リスト

• LoRA-TSD: Tangent-Space Spectral Descent for LoRA via Muon-Style Updates [48.87937677659571]
  低ランク適応(LoRA)は、大型モデルを微調整する標準的な方法である。 固定ランク行列多様体に対してすべてのLoRAステップを接として扱うアダプタであるLoRA-TSDを導入する。 LoRA-Pro と LoRA-TSD の両方に対して最初のグローバル収束保証を与える。
  論文  参考訳（メタデータ） (2026-09-02T15:41:45Z)
• ID-LoRA: Efficient Low-Rank Adaptation Inspired by Matrix Interpolative Decomposition [3.0212805640687836]
  トレードオフを断ち切る新しいPEFTフレームワークであるID-LoRAを提案する。 ID-LoRAを数学的推論,コード生成,MMLU,CommonsenseQA,セーフティアライメントの5つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-02-24T09:45:10Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• Cross-LoRA: A Data-Free LoRA Transfer Framework across Heterogeneous LLMs [10.218401136555064]
  Cross-LoRAは、さまざまなベースモデル間でLoRAモジュールを転送するためのフレームワークである。 実験の結果、クロスロラはベースモデルよりも5.26%の相対的なゲインを達成している。
  論文  参考訳（メタデータ） (2025-08-07T10:21:08Z)
• Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
  Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。 最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。 効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。 各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T06:56:39Z)
• Compress then Serve: Serving Thousands of LoRA Adapters with Little Overhead [41.31302904190149]
  低ランク適応 (LoRA) を持つ細調整の大型言語モデルは一般的な慣行となり、LoRA更新でのみ同じLLMのコピーを多数生成する。 このパラダイムは、異なるLoRAを含むクエリに対するリアルタイム応答を提供するシステムの課題を示す。 本稿では,LoRA固有のスケーリング行列と組み合わせた共有ベースにLoRAを共同圧縮する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T15:21:35Z)
• LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
  LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-18T04:41:25Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)
• MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
  LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。 LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。 我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
  論文  参考訳（メタデータ） (2023-11-20T02:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。