論文の概要: Inference First, Training Underneath: Layer-Granular LoRA Co-Serving with LayerLoom

• arxiv url: http://arxiv.org/abs/2611.00652v1
• Date: Sat, 31 Oct 2026 05:29:37 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:47:28.046239
• Title: Inference First, Training Underneath: Layer-Granular LoRA Co-Serving with LayerLoom
• Title（参考訳）: Inference First, Training Underneath: Layer-Granular LoRA Co-Serving with LayerLoom
• Abstract要約: 同じGPU上で言語モデルを微調整することで、推論間のアイドル容量をトレーニングの進捗に変換することができる。 現在の協調システムは、サービス提供イテレーション毎に後方作業のスケジュールを立てる。 LayerLoomは、前方のパスを推論するために、同じ後方タスクをアタッチし、各レイヤでは、飛行中のリクエストのレイテンシの欠如が許しているように、それらのうちの1つだけを実行します。
• 参考スコア（独自算出の注目度）: 4.071666377913069
• License:
• Abstract: Serving and fine-tuning a large language model on the same GPUs can turn the idle capacity between inference bursts into training progress, and low-rank adaptation (LoRA) makes this co-location cheap because both workloads read a single frozen copy of the base weights. The difficulty lies in the fine-tuning backward pass, which has no counterpart in inference. Current co-serving systems schedule backward work per serving iteration: each iteration carries a fixed backward budget, and requests that arrive in the meantime wait for it to finish, so fine-tuning dictates inference latency whenever load spikes. We observe that the backward pass of a LoRA microbatch decomposes into per-layer tasks over the same weights that the inference forward pass visits, which allows backward work to be scheduled at layer rather than iteration granularity. Building on this observation, LayerLoom attaches same-layer backward tasks to the inference forward pass and, at each layer, runs only as many of them as the latency slack of in-flight requests permits. To keep a ready task at every layer, LayerLoom maintains a wavefront of fine-tuning microbatches staggered across layers, and it bounds the wavefront's activation memory by offloading microbatch state to host memory and prefetching it ahead of the layer where the scheduler plans to use it. A fused kernel serves the paired forward and backward GEMMs from a single read of each base weight. Because all backward work of an iteration finishes within its forward pass, new requests join the next iteration as in continuous batching. On an RTX 4090 GPU running Llama-3.1-8B under a bursty production trace, LayerLoom raises joint SLO attainment by 13.5-21.8 points over prior works with fine-tuning throughput that is comparable or up to 12% higher, and it reaches the same training losses.
• Abstract（参考訳）: 同じGPU上で大きな言語モデルを実行し、微調整することで、推論バースト間のアイドル容量をトレーニングの進捗に変換することができる。 難易度は微調整の後方通過にあるが、これは推論に逆らうものではない。 各イテレーションは固定された後方予算を持ち、その間に到着するリクエストは完了するまで待つので、微調整は負荷がスパイクするたびに推論遅延を予測します。 我々は、LoRAマイクロバッチの後方通過が、推論の前方通過と同じ重みで層間タスクに分解され、後方処理がイテレーションの粒度ではなく層間スケジュールされるのを観察する。 この観測に基づいて、LayerLoomは推論のフォワードパスに同じレイヤの後方タスクをアタッチし、各レイヤでは、飛行中のリクエストの遅延が許されるのと同じ数のタスクのみを実行する。 準備されたタスクを各レイヤに保持するために、LayerLoomは、階層にまたがった微調整されたマイクロバッチの波面を維持し、マイクロバッチ状態をオフロードしてメモリをホストし、スケジューラがそれを使用する予定のレイヤの前にそれをプレフェッチすることで、ウェーブフロントのアクティベーションメモリをバインドする。 融合カーネルは、各基本重みの1つの読み取りから、ペア化された前方および後方のGEMMを提供する。 イテレーションのすべての後方処理がフォワードパス内で終了するので、継続的なバッチ処理のように、新しいリクエストが次のイテレーションに加わる。 Llama-3.1-8Bで動作するRTX 4090 GPU上では、LayerLoomは以前の作業よりも13.5-21.8ポイントのジョイントSLO達成率を13.5-21.8ポイント引き上げる。

関連論文リスト

• RASP: Read-All, Sparse-Plasticity Continual Learning in a Stationary-Size LoRA [0.0]
  RASP (Read-All, Sparse-Plasticity LoRA) を導入する。 RASPは、厳密な定数パラメータフットプリントの下で、分岐拡張されたLoRA学習者と一致またはオーバーする。
  論文  参考訳（メタデータ） (2026-11-02T17:50:48Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• ReCoLoRA: Spectrum-Aware Recursive Consolidation for Continual LLM Fine-Tuning [0.0]
  ReCoLoRA(Recursive Consolidation of Low-Rank Adapters)は、連続的な微調整のためのスペクトル認識フレームワークである。 ReCoLoRAは、ランキングスワープのLoRA、PiSSA、AdaLoRA、DoRAのベースラインに対して4つのバックボーンのうち3つで最高得点を獲得した。
  論文  参考訳（メタデータ） (2026-07-04T12:58:26Z)
• ReCoVer: Resilient LLM Pre-Training System via Fault-Tolerant Collective and Versatile Workload [18.933354857797056]
  大規模GPUクラスタ上での大規模言語モデルの事前トレーニングは、ハードウェア障害を稀ではなく日常的なものにしている。 一つの不変量を保持するレジリエントな事前学習システムであるReCoVerを提案する。 チェックポイントとリスタートのベースラインと比較して、ReCoVerは連続する障害の後、より効果的なスループットを2.23タイムで示す。
  論文  参考訳（メタデータ） (2026-05-11T20:28:31Z)
• Attention Residuals [38.59138244826294]
  PreNorm との残余接続は現代の LLM では標準的なものであるが、固定単位重み付きで全ての層出力を蓄積する。 本稿では,アテンション残余(AttnRes)を提案する。
  論文  参考訳（メタデータ） (2026-03-16T09:32:21Z)
• LayerPipe2: Multistage Pipelining and Weight Recompute via Improved Exponential Moving Average for Training Neural Networks [6.69087470775851]
  パイプライニングの望ましいレベルを達成するために各層にどれだけの勾配遅延を導入する必要があるか、原則として理解することができなかった。 遅延が法的に挿入される可能性のある場所を特定し、ネットワーク構造から直接必要な遅延量を示す。 パイプライニングを各層に施すと、遅延の量は下流のステージの残数にのみ依存する。
  論文  参考訳（メタデータ） (2025-12-09T01:35:08Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。