論文の概要: vSkipper: Translating Dynamic Layer Skipping into LLM Serving Gains

• arxiv url: http://arxiv.org/abs/2609.37062v1
• Date: Tue, 29 Sep 2026 09:01:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.350008
• Title: vSkipper: Translating Dynamic Layer Skipping into LLM Serving Gains
• Title（参考訳）: vSkipper: LLM Serving Gainsへの動的レイヤスキッピングの変換
• Abstract要約: 本稿では、サーブエンジンにプラグイン可能な動的層スキッパーであるvSkipperを紹介する。 vSkipperは平均エンドツーエンドのレイテンシをGSM8Kで36.8%、BBHで13.6%削減する。 我々の知る限り、vSkipperは、現代のサーブエンジン内をスキップするトーケン層当たりのサービス効率向上を実現する最初のシステムである。
• 参考スコア（独自算出の注目度）: 0.14337588659482522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic layer skipping reduces LLM computation by allowing each token to execute only a subset of the model's layers. However, existing skippers rely on specialized generation loops and do not integrate with modern serving engines. As a result, fewer executed layers do not necessarily translate into lower serving latency: FlexiDepth skips 8 of Llama-3-8B's 32 layers on average, yet its standard generation loop decodes 14.6--21.0% more slowly than the base model. We present vSkipper, a virtualization layer that makes dynamic layer skippers pluggable in serving engines while preserving continuous batching, fixed-shape batches, paged KV caching, and captured decode graphs. At each routed layer, vSkipper groups tokens by the skipper's decision and uses routed execution only when predicted to be profitable. We implement vSkipper in SGLang and evaluate the released FlexiDepth checkpoint against upstream SGLang under identical prompts, arrivals, output lengths, and launch settings. At the knee of upstream's load curve, vSkipper reduces mean end-to-end latency by 36.8% on GSM8K and 13.6% on BBH. Under saturation, it increases request throughput by 11.3% and 7.4%. Serving adds no statistically resolved quality loss beyond the checkpoint's own. Across synthetic skip policies, two Qwen3 skippers, and three GPUs, we demonstrate reuse without workload-specific tuning. To our knowledge, vSkipper is the first system to realize serving-efficiency gains from per-token interior layer skipping within a modern LLM serving engine. The code is open-sourced as an SGLang fork at https://github.com/AKafakA/sglang-vskipper/tree/vskipper-ref
• Abstract（参考訳）: 動的レイヤスキップは、各トークンがモデルのレイヤのサブセットだけを実行できることによって、LCM計算を減らす。 しかし、既存のスキッパーは特別な生成ループに依存しており、現代のサーブエンジンと統合されていない。 FlexiDepthは平均してLlama-3-8Bの32層の8層をスキップするが、標準生成ループはベースモデルよりも14.6～21.0%遅い。 本稿では、連続バッチ処理、固定形バッチ、ページ化されたKVキャッシュ、キャプチャされたデコードグラフを保存しながら、動的層スキッパをサーブエンジンにプラグイン可能にする仮想化層であるvSkipperを提案する。 各ルーティング層において、vSkipperはスキップ側の決定によってトークンをグループ化し、利益が予想される場合にのみルーティング実行を使用する。 我々は、SGLangにvSkipperを実装し、同じプロンプト、到着、出力長、起動設定の下で、SGLangの上流SGLangに対してリリースされたFlexiDepthチェックポイントを評価します。 上流の負荷曲線の膝で、vSkipperは平均エンドツーエンドのレイテンシをGSM8Kで36.8%、BBHで13.6%削減する。 飽和下では、リクエストのスループットを11.3%、そして7.4%向上させる。 Servingは、チェックポイント自身以外の統計的に解決された品質損失を追加します。 合成スキップポリシ,2つのQwen3スキップパー,3つのGPUを通じて,ワークロード固有のチューニングなしで再利用を実演する。 我々の知る限り、vSkipperは、現代のLLMサーブエンジン内をスキップするトーケン内層からのサービス効率向上を実現する最初のシステムである。 コードはhttps://github.com/AKafakA/sglang-vskipper/tree/vskipper-refでSGLangフォークとしてオープンソース化されている。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation [53.88286427894783]
  視覚言語モデル(VLM)は、ロボット分野において、言語コンテキストによる環境認識を可能にする強力なツールとして登場した。 しかし、彼らの計算フットプリントは、通常、それらをクラウド実行に制限し、リソースに制約のあるロボットへのローカルなデプロイによる低レイテンシの推論を妨げる。 本稿では,大規模フロンティアモデルからの複雑な空間意味推論を,組み込みGPUデバイス上でエッジ実行を行うための軽量な4BパラメータローカルVLMに転送する蒸留戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-26T09:11:59Z)
• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse [68.18308357205586]
  Longcontext Agenticは、大規模言語モデルの定義ユースケースとして登場した。 Sparseは、この課題を効果的に解決し、DeepSeek Sparse Attention(DSA)は、代表的なプロダクショングレードソリューションである。 我々は、レイヤを独自のインデクサを実行するフルレイヤの小さなセットと、最も近いフルレイヤのトップkインデックスを単純に再利用する共有レイヤの大多数に分割することで、層間の冗長性を利用するIndexCacheを紹介します。
  論文  参考訳（メタデータ） (2026-03-12T17:27:21Z)
• Gated KalmaNet: A Fading Memory Layer Through Test-Time Ridge Regression [53.48692193399171]
  Gated KalmaNet(GKA)は、次のトークンを予測する際に、すべての過去を説明することによってギャップを低減するレイヤである。 テスト時間におけるオンラインリッジ回帰問題を一定メモリと線形計算コストで解決する。 ロングコンテキストでは、GKAは現実世界のRAGタスクとLongQAタスクを最大128kトークンまで拡張し、他の薄型メモリベースラインよりも10ドル%以上の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2025-11-26T03:26:37Z)
• INTERLACE: Interleaved Layer Pruning and Efficient Adaptation in Large Vision-Language Models [10.262304700896197]
  我々は,サンプル効率の微調整による性能を維持しながら,VLMの冗長層を創出する新しいフレームワークであるInterLACEを紹介した。 連続する3層構造を解析し, 局所的冗長性を同定し, 残りの2層を微調整し, 残りの層を微調整し, 第三層を凍結し, 微調整時に安定なアンカーとして機能させる。 1つのエポックのためにFineVisionデータセットのわずか1%のレイヤのみを微調整することで、Interlaceはネットワークの25%を落として88.9%のパフォーマンス維持を実現し、SOTAパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2025-11-24T20:24:22Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation [37.21518386315535]
  長いコンテキストを扱うために言語モデルをスケールすることは、かなりのメモリ課題をもたらす。 LLaMAなどのモデルからハイブリッドなモデルに変換するLightTransferを提案する。 当社のアプローチでは,最近のトークンや初期トークンに注目した遅延レイヤを特定して,その全注目をストリーミングの注目に置き換えています。
  論文  参考訳（メタデータ） (2024-10-17T17:58:14Z)
• TriForce: Lossless Acceleration of Long Sequence Generation with Hierarchical Speculative Decoding [43.28712253351293]
  キーバリュー(KV)キャッシュは、効率的なロングシーケンスサポートのボトルネックとして浮上している。 TriForceは階層的な投機的復号化システムであり、長いシーケンス生成にスケーラブルである。 トリフォースの頑丈さは、様々な温度で一貫して卓越した性能で強調されている。
  論文  参考訳（メタデータ） (2024-04-18T05:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。