論文の概要: SPLASH: Switching Parallel Layouts of Attention with Seamless Handoff for LLM Serving

• arxiv url: http://arxiv.org/abs/2609.37626v1
• Date: Tue, 29 Sep 2026 14:02:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.596283
• Title: SPLASH: Switching Parallel Layouts of Attention with Seamless Handoff for LLM Serving
• Title（参考訳）: SPLASH: LLMにおけるシームレスハンドオフによる並列レイアウト変更
• Abstract要約: SPLASHは、リクエストが実行されている間、アテンションの並列レイアウトを切り替えるサービスシステムである。 現代的な注意:KVヘッドがほとんどあるいは全くない、要求のKVキャッシュの場所を、注意重みの緊張度から切り離す。 固定されたデプロイメントに対して、エンドツーエンドのサービススループットを1.3-1.73倍改善する。
• 参考スコア（独自算出の注目度）: 5.225347368638897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: No single way of parallelizing attention serves large language models well under all loads. Low concurrency favors tensor parallelism, many independent requests favor data-parallel attention, and long prompts favor context parallelism. Reasoning, agentic, and RL-rollout workloads make a fixed choice untenable: a batch that begins as many short requests ends as a few very long ones, so the best layout changes while the same requests run. Serving engines nevertheless fix one layout at launch, because changing it has meant draining requests and restarting workers. We present SPLASH, a serving system that switches the parallel layout of attention while requests are running. It builds on one observation: modern attention, with few or no KV heads, decouples where a request's KV cache lives from how attention weights are sharded. This has two consequences. First, layouts differ only in who owns the weights and the cache, and most of that state already sits where the next layout needs it; SPLASH reuses it, moves the rest in the background of ongoing inference, and hands off at a batch boundary, making a switch nearly free: its median overhead is under 0.51% of the step it runs in. Second, the decoupling exposes a layout that existing engines lack: Decoupled Ownership Parallelism (DOP) shards attention weights as tensor parallelism does while keeping each request's cache on a single owner as data-parallel attention does. DOP replicates neither, offers 27-60% more KV capacity than data-parallel attention, and gives the scheduler a choice when KV memory limits admission. A transition-aware scheduler follows the best of the four layouts as load changes. On B200 GPUs serving GLM-5.3, SPLASH improves end-to-end serving throughput by 1.3-1.73x over fixed-layout deployments, and the same layout regimes appear with DeepSeek-V3.2 on H200 and GLM-5.3-Flash on DCU.
• Abstract（参考訳）: 注意を並列化する単一の方法は、すべての負荷下で大きな言語モデルによく役立ちません。 低並行性はテンソル並列性、多くの独立したリクエストはデータ並列性、長いプロンプトはコンテキスト並列性を好む。 推論、エージェント、そしてRLロールアウトのワークロードは、固定的な選択を不可能にします。 短いリクエストの数のバッチは、非常に長いリクエストで終わるので、同じリクエストが実行されている間に、最高のレイアウトが変更されます。 サービングエンジンは、起動時に1つのレイアウトを修正します。 SPLASHは,要求が実行されている間,アテンションの並列レイアウトを切り替えるサービスシステムである。 現代的な注意:KVヘッドがほとんど、あるいは全くない、要求のKVキャッシュがどこにあるかは、注意重みがシャードされているかから判断される。 これには2つの結果がある。 SPLASHはそれを再利用し、進行中の推論の背景に残りを移動し、バッチバウンダリでハンドオフすることで、スイッチをほぼ自由にします。 Decoupled Ownership Parallelism (DOP) は、テンソル並列化のように、各要求のキャッシュをデータ並列の注意のように単一オーナに保持しながら、注意を集中させます。 DOPはどちらも複製せず、データ並列アテンションよりも27-60%多くKV容量を提供し、KVメモリの許可を制限したときにスケジューラに選択を与える。 トランジション対応のスケジューラは、ロードの変更に伴って、4つのレイアウトのうち最高のものに従う。 GLM-5.3を提供するB200 GPUでは、SPLASHは固定レイアウト配置でエンドツーエンドのサービススループットを1.3-1.73倍改善し、H200ではDeepSeek-V3.2、DCUではGLM-5.3-Flashで同じレイアウトが現れる。

関連論文リスト

• Rollplex: Cross-Phase GPU Spatial Sharing for Vision Language Model Post-Training [9.858972472026501]
  視覚言語モデル(VLM)は、エンボディエージェントが視覚観察や言語指示から推論と行動を行うことを可能にする。 現在のRLランタイムは、厳密なシリアルフェーズでロールアウト、参照スコアリング、アクタトレーニングを実行する。 Rollplexは、参照とトレーニングフェーズを分解し、ロールアウトウィンドウに移動します。
  論文  参考訳（メタデータ） (2026-08-14T17:13:34Z)
• PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs [0.8460698440162889]
  本稿では,ブロックテーブル型デコードアテンションエンジンPersistentKVとページ認識スケジューリング研究について述べる。 Per Per PersistentKVマップはKVヘッドグループによって動作し、ネイティブページテーブル上で直接実行される。 5つのホールドアウト種子は、バイモーダル、均一、Zipfライクなワークロードにおいて、平均壁の復号化スループットを1.04xから1.08x改善することを示した。
  論文  参考訳（メタデータ） (2026-06-25T06:56:43Z)
• Tangram: Unlocking Non-Uniform KV Cache for Efficient Multi-turn LLM Serving [12.478756445519409]
  Tangramは、一様でないKVキャッシュを実用的にするために設計された新しいサービスシステムである。 Tangramは既存のベースラインに比べてスループットを最大2.6倍改善する。
  論文  参考訳（メタデータ） (2026-06-04T15:41:27Z)
• PRISM: Fast Online LLM Serving via Scheduling-Memory Co-design [5.476189551376108]
  本稿では、要求対応のラッドツリー(DART)とクエリ対応のスケジューラ(QAS)を共同設計し、要求の受け入れを正確なKV保持と整合させるPRISMを提案する。 評価の結果,最強のベースラインに対して,PRISMはQPS P99 TTFT平均を23.3%,P99 TTFT平均を37.1%削減し,KV-cacheの精度は4Bモデルと13Bモデルでそれぞれ5.9,12.2ポイント向上した。
  論文  参考訳（メタデータ） (2026-05-09T00:48:25Z)
• OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
  我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。 OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。 オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
  論文  参考訳（メタデータ） (2025-09-25T21:42:27Z)
• TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference [48.40143137402824]
  MLA(Multi-Head Latent Attention)は、キー値の状態を低ランクの潜在ベクトルに圧縮し、このベクトルだけをキャッシュしてメモリを減少させる。 しかし、テンソル並列性(TP)では、アテンションヘッドは複数のデバイスにまたがって計算され、各デバイスはフルキャッシュをロードしなければならない。 本稿では,潜在表現と各頭部の入力次元をデバイス間で分割し,シャード毎に独立して注目を行い,結果を全再現と組み合わせる方式であるTPLAを提案する。
  論文  参考訳（メタデータ） (2025-08-21T15:25:40Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• S2-Attention: Hardware-Aware Context Sharding Among Attention Heads [49.1454481007861]
  スパースアテンションは、コンテキスト内のトークンのサブセットに選択的に出席する。 スパース・アテンションが今日の大規模言語モデルでモデルの品質を維持することができるかどうかは不明だ。 本稿では,Sparsely-Sharded(S2) attention, a Triton library that provide kernel optimization for sparse attention for sparse attention to customizable per-head and per-context-range levels。
  論文  参考訳（メタデータ） (2024-07-25T00:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。