論文の概要: Scute: Exact Batched Serving for PEFT Adapters Beyond LoRA

• arxiv url: http://arxiv.org/abs/2611.01089v1
• Date: Sat, 31 Oct 2026 16:24:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:03:22.245192
• Title: Scute: Exact Batched Serving for PEFT Adapters Beyond LoRA
• Title（参考訳）: PEFTがLoRA以外のアダプタをテスト中?(動画あり)
• Abstract要約: バッチ化されたLoRAカーネルは、これらのメソッドの全てを正確かつ効率的に処理可能であることを示す。 Scuteを使用すると、同じGPUが64から1024(IA)とVeRAアダプタを1.5倍、LoRA変換のリクエストレートの2.5倍の速度で使用することができる。
• 参考スコア（独自算出の注目度）: 0.8816076754027807
• License:
• Abstract: Existing serving systems for large language models batch requests for many different LoRA adapters on one GPU. However, these systems reject adapters from other parameter-efficient fine-tuning (PEFT) methods such as DoRA, (IA), VeRA and OFT. One solution to this is to convert these adapters to LoRA, but this induces a significant memory and accuracy cost. Instead, we show that, under some modifications, a batched LoRA kernel can serve all of these methods exactly and efficiently. We achieve this by writing each method in one normal form, a LoRA computation with six slots for an adapter's own vectors and matrices. Some slots can merge into an adapter's weights at load time; the others remain live and induce a cost. We give ways to efficiently pay this cost and predict it from a zero-parameter byte model. We package this system, Scute, and build it on top of vLLM. Scute serves all five methods, coming as checkpoints from the Hugging Face PEFT library, in one batch, and it matches that library with a mean error of at most 1.5% of each adapter's effect. Under a burst of requests on an RTX A6000, a mix of these methods takes 5-17% more decode time than the same number of LoRA adapters. Furthermore, using Scute, the same GPU can serve 64 to 1024 (IA) and VeRA adapters at 1.5x to at least 2.5x the request rate of their LoRA conversions.
• Abstract（参考訳）: 大規模言語モデルの既存のサービスシステムでは、1つのGPU上で多くの異なるLoRAアダプタのバッチリクエストが処理される。 しかしながら、これらのシステムは、DoRA、(IA)、VeRA、OFTといった他のパラメータ効率の高い微細チューニング(PEFT)手法のアダプタを拒絶する。 これに対する解決策の1つは、これらのアダプタをLoRAに変換することである。 代わりに、いくつかの修正の下で、バッチ化されたLoRAカーネルがこれらのすべてのメソッドを正確に効率的に処理できることが示されます。 各手法を1つの正規形式で記述し、アダプタのベクトルと行列を6つのスロットで計算する。 いくつかのスロットは、ロード時にアダプタの重みにマージすることができる。 私たちはこのコストを効率的に支払い、ゼロパラメータのバイトモデルから予測する方法を提供します。 このシステム、Scouteをパッケージ化し、vLLM上に構築します。 Scuteは5つのメソッドすべてを提供し、1バッチでHugging Face PEFTライブラリのチェックポイントとして提供され、各アダプタの効果の少なくとも1.5%の誤差でそのライブラリにマッチする。 RTX A6000の要求のバーストの下では、これらの手法の混合は、同じ数のLoRAアダプタよりも5-17%のデコード時間を要する。 さらに、Scotを使用すると、同じGPUが64から1024(IA)とVeRAアダプタを1.5倍に、LoRA変換の要求レートを2.5倍にすることができる。

関連論文リスト

• Block-Diagonal LoRA for Eliminating Communication Overhead in Tensor Parallel LoRA Serving [10.097889959657277]
  ブロック対角のLoRAは、LoRAアダプタをシャーディングする代替の方法を可能にする。 ブロック対角法 LoRA アプローチが標準 LoRA と同様のパラメータ効率であることを示す。 例えば、Llama-3.1-70B のアダプタパラメータの数が 0.87x (1.74x) で、Llama-3.1-8B のアダプタパラメータの数が 0.86x (1.73x) で、最大 1.63x (1.3x) のエンドツーエンドスピードアップを 0.86x (1.73x) で観測する。
  論文  参考訳（メタデータ） (2025-10-27T14:01:29Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• Compress then Serve: Serving Thousands of LoRA Adapters with Little Overhead [41.31302904190149]
  低ランク適応 (LoRA) を持つ細調整の大型言語モデルは一般的な慣行となり、LoRA更新でのみ同じLLMのコピーを多数生成する。 このパラダイムは、異なるLoRAを含むクエリに対するリアルタイム応答を提供するシステムの課題を示す。 本稿では,LoRA固有のスケーリング行列と組み合わせた共有ベースにLoRAを共同圧縮する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T15:21:35Z)
• S-LoRA: Serving Thousands of Concurrent LoRA Adapters [59.490751234925206]
  パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。 本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
  論文  参考訳（メタデータ） (2023-11-06T17:26:17Z)
• CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices [78.16679232748196]
  本稿では,Large Language Models (LLM) を他のタスクに転送するための圧縮対応 LoRA (CA-LoRA) フレームワークを提案する。 実験の結果,CA-LoRAは圧縮LDMに適用したバニラロラ法よりも優れていた。 CA-LoRAのソースコードはhttps://github.com/thunlp/CA-LoRAで公開されている。
  論文  参考訳（メタデータ） (2023-07-15T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。