論文の概要: LoRAForge: Co-Designing Post-Hoc Compression and Execution for Efficient Multi-LoRA Serving

• arxiv url: http://arxiv.org/abs/2611.01256v1
• Date: Sat, 31 Oct 2026 20:39:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:16:44.657069
• Title: LoRAForge: Co-Designing Post-Hoc Compression and Execution for Efficient Multi-LoRA Serving
• Title（参考訳）: LoRAForge: 効率的なマルチロラサービングのためのポストホック圧縮と実行の共同設計
• Abstract要約: マルチLoRAサービスにより、多くのタスク固有のアダプタが共通のベースモデルを共有することができる。 ポストホック圧縮は、訓練されたLoRAアダプタのメモリフットプリントを減らすことができるが、より小さなランクは自動的に高速なサービスに変換されない。 本稿では,バッチファクタ構築とランク特殊化実行を明示的な保持ランク表現で接続するシステムであるLoRAForgeを提案する。
• 参考スコア（独自算出の注目度）: 1.5006323636551544
• License:
• Abstract: Multi-LoRA serving allows many task-specific adapters to share a common base model, but scaling to large adapter fleets introduces substantial storage, loading, and execution overheads. Post-hoc compression can reduce the memory footprint of trained LoRA adapters, yet smaller ranks do not automatically translate into faster serving. For instance, padding, factor access, and generic kernels can obscure the retained low-rank structure, while independently recompressing thousands of modules also incurs significant preparation overhead. We present LoRAForge, a system connecting batched factor construction to rank-specialized execution through an explicit retained-rank representation. It supports two allocation policies: uniform retention ratios (LoRAForge-U) and spectral-energy budget allocation (LoRAForge-S). Both share FlashTSQR factor construction and the same serving backend. FlashTSQR exploits parallelism across modules and row tiles, accelerating factor construction by up to $2.28\times$ over matched library QR. In a fixed-work Qwen control, the shared runtime adds $1.17$--$1.22\times$ throughput across both compressed policies, with negligible gains on original adapters. Across 85 trained open-weighted Qwen and Llama adapters, the spectral policy's floored quality configuration retains about 7.7% of adapter parameters with fleet-average score drops of at most 1.2 points on a 0--100 scale. The same rank-floored $1/12$ spectral exports achieve substantial token-throughput gains on both AMD and NVIDIA GPUs.
• Abstract（参考訳）: マルチLoRAサービスにより、多くのタスク固有のアダプタが共通のベースモデルを共有することができるが、大規模なアダプタフリートへのスケーリングは、かなりのストレージ、ロード、実行オーバーヘッドをもたらす。 ポストホック圧縮は、訓練されたLoRAアダプタのメモリフットプリントを減らすことができるが、より小さなランクは自動的に高速なサービスに変換されない。 例えば、パディング、ファクタアクセス、ジェネリックカーネルは、維持されている低ランク構造を曖昧にし、独立して数千のモジュールを圧縮することは、かなりの準備オーバーヘッドを引き起こす。 本稿では,バッチファクタ構築とランク特殊化実行を明示的な保持ランク表現で接続するシステムであるLoRAForgeを提案する。 均一保持率(LoRAForge-U)とスペクトルエネルギー予算配分(LoRAForge-S)の2つのアロケーションポリシーをサポートしている。 どちらも、FlashTSQRファクタの構築と、同じサービスバックエンドを共有している。 FlashTSQRは、モジュールと行タイル間の並列性を利用して、最大2.28\times$のファクタ構築を高速化する。 固定処理のQwen制御では、共有ランタイムは圧縮された両方のポリシーをまたいだスループットを1.17$--1.22\times$に追加する。 85以上の訓練を受けたQwenアダプタとLlamaアダプタでは、スペクトルポリシーのフロアドクオリティ構成は、平均値が0-100スケールで1.2ポイント以上低下したアダプタパラメータの約7.7%を維持している。 同じ階調の1/12ドルのスペクトルエクスポートは、AMDとNVIDIAのGPUの両方で相当なトークン・スループットの向上を実現している。

関連論文リスト

• Pin Once, Swap Light: Subspace-Aligned Centroid-Residual Training for Efficient Ultra-LoRA Serving [25.88998577757845]
  Subspace-Aligned LoRA Training (SALT)は、効率的な階層的な微調整フレームワークである。 まず、高容量なドメインセントロイドをドメイン内の公開データ上で共同で訓練する。 次にユーザは、凍結したCentroid上のプライベートデータに超低ランクのタスク残差アダプタを微調整する。 推論中、プロバイダはGPU VRAMにセントロイドをピン留めし、要求に応じて各ユーザのタスクを動的にスワップする。
  論文  参考訳（メタデータ） (2026-08-04T12:34:35Z)
• Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning [47.97857843162072]
  そこで本研究では,当初プルーニングのために開発されたサリエンシ信号が,モデルが適応すべき場所を選択するために再利用できるかどうかについて検討する。 我々は,小さなトレーニング可能なサポートを修正可能なスパースパラメータ効率細調整(PEFT)手法であるSuperを提案する。 次に、このスパースアップデートとLoRAを組み合わせたハイブリッドアダプタであるSupraを紹介します。
  論文  参考訳（メタデータ） (2026-07-10T10:55:28Z)
• Compress then Merge: From Multiple LoRAs into One Low-Rank Adapter [31.066992554963093]
  我々は、$T$ LoRAsを1つのランクにマージする問題-$r$ LoRAについて研究する。 既存の-then-Compressパイプラインは、ランク制約を後付けとして扱う。 逆パイプラインであるCompress-then-Merge (CtM)を提案する。
  論文  参考訳（メタデータ） (2026-06-02T14:42:46Z)
• Dual-Pool Token-Budget Routing for Cost-Efficient and Reliable LLM Serving [9.457255218406333]
  プロダクションvLLMフリートは通常、最悪のコンテキスト長に対して各インスタンスをプロビジョニングする。 実際には、80-95%のリクエストは短いが、長いコンテキストに最適化された設定の下で提供される。 本稿では,同種艦隊を2つの専用プールに分割する軽量ディスパッチ機構であるデュアルプールトークン予算ルーティングを提案する。
  論文  参考訳（メタデータ） (2026-04-09T10:47:20Z)
• Serving Heterogeneous LoRA Adapters in Distributed LLM Inference Systems [11.584593298674688]
  Low-Rank Adaptation (LoRA)は,大規模言語モデル(LLM)のパラメータ効率向上のためのデファクト手法となった。 プロダクションでは、LoRAベースのモデルが大規模に提供され、数百のアダプタがベースモデルを共有するマルチテナント環境を生成する。 作業負荷を考慮した動的アダプタ配置とルーティングフレームワークであるLoRAServeについて述べる。
  論文  参考訳（メタデータ） (2025-11-28T05:04:02Z)
• LoRAFusion: Efficient LoRA Fine-Tuning for LLMs [7.13923757932177]
  Low-Rank Adaptation (LoRA) はLarge Language Models (LLM) のためのPEFT (Efficient Fine-Tuning) メソッドの先駆けとなった。 LLMのための効率的なLoRA微調整システムであるLoRAFusionを紹介する。 LoRAFusionはMegatron-LMと比較して最大1.96times$(平均1.47times$)エンドツーエンドのスピードアップを達成し、mLoRAよりも最大1.46times$(平均1.29times$)改善する。
  論文  参考訳（メタデータ） (2025-09-30T19:26:22Z)
• TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference [48.40143137402824]
  MLA(Multi-Head Latent Attention)は、キー値の状態を低ランクの潜在ベクトルに圧縮し、このベクトルだけをキャッシュしてメモリを減少させる。 しかし、テンソル並列性(TP)では、アテンションヘッドは複数のデバイスにまたがって計算され、各デバイスはフルキャッシュをロードしなければならない。 本稿では,潜在表現と各頭部の入力次元をデバイス間で分割し,シャード毎に独立して注目を行い,結果を全再現と組み合わせる方式であるTPLAを提案する。
  論文  参考訳（メタデータ） (2025-08-21T15:25:40Z)
• S-LoRA: Serving Thousands of Concurrent LoRA Adapters [59.490751234925206]
  パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。 本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
  論文  参考訳（メタデータ） (2023-11-06T17:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。