論文の概要: Service-Induced Congestion in Memory-Constrained LLM Serving

• arxiv url: http://arxiv.org/abs/2606.15555v1
• Date: Sun, 14 Jun 2026 02:49:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.691091
• Title: Service-Induced Congestion in Memory-Constrained LLM Serving
• Title（参考訳）: メモリ制限型LDM作業におけるサービス誘導的混雑
• Abstract要約: 大規模言語モデル(LLM)サービスでは、各要求は、サービス中に永続的なグラフィクス処理ユニット(GPU)メモリをキーバリューキャッシュとして蓄積する。 メモリ容量を超えると、システムはアクティブリクエストを排除し、状態をキャッシュし、後で再起動し、スループットを無駄にし、削減する。 本研究では,メモリ制約推論の離散時間動的モデルを構築し,メモリ増加と消去を捉える。
• 参考スコア（独自算出の注目度）: 15.678639994012443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In large language model (LLM) serving, each request accumulates persistent graphics processing unit (GPU) memory during service as its key-value cache grows with every generated token. Under high concurrency, aggregate memory usage therefore increases endogenously over time: the service process itself creates future capacity pressure. When memory capacity is exceeded, systems evict active requests, discarding cached state and restarting them later, which wastes computation and reduces throughput. We develop a discrete-time dynamical model of memory-constrained LLM inference that captures admission, memory growth, and eviction under continuous batching. In the saturated-input regime, the system admits both eviction-free fixed points and limit cycles with evictions. For homogeneous workloads, we show that the eviction-free equilibrium is unstable and that, except for a Lebesgue-measure-zero exact-capture set, the system converges to a unique worst-case limit cycle that is asymptotically stable outside this exceptional set, with throughput losses as large as 50%. For heterogeneous workloads, we prove a stability criterion in the two-class common-input setting and explain how the survival-polynomial mechanism generalizes to multiple classes and heterogeneous-input lengths. Under an input-dominated scaling regime, coprime decoding lengths stabilize the eviction-free equilibrium, while non-coprime lengths create synchronized modes that drive instability. These results characterize when workload heterogeneity desynchronizes completions and helps stabilize memory-constrained serving. More broadly, we identify service-induced congestion as a structural instability mechanism and derive scheduling design principles for sustaining high throughput.
• Abstract（参考訳）: 大規模言語モデル(LLM)サービスでは、各要求は、生成されたトークン毎にキー値キャッシュが増大するにつれて、サービス中に永続的なグラフィクス処理ユニット(GPU)メモリを蓄積する。 高い並行性の下では、集約メモリの使用量は時間とともに不均一に増加します。 メモリ容量を超えると、システムはアクティブリクエストを排除し、キャッシュされた状態を破棄し、後で再起動し、計算を無駄にしてスループットを低下させる。 本研究では,連続バッチ処理におけるメモリ制限型LLM推論の離散時間動的モデルを構築した。 飽和入出力系では、この系は消去のない不動点と極限サイクルの両方を認めている。 均質なワークロードの場合、エビクションフリー平衡は不安定であり、リーベーグ測度ゼロの正確な捕獲セットを除いて、システムは、この例外セットの外側で漸近的に安定なユニークな最悪の極限サイクルに収束し、最大50%のスループット損失を持つことを示す。 不均質なワークロードに対しては、二クラス共通入力設定における安定性の基準を証明し、生存-ポリノミカル機構が複数のクラスと不均質な入力長にどのように一般化するかを説明する。 入力に支配されたスケーリング体制の下では、コプリムデコード長はエビクションフリー平衡を安定化し、非コプリム長は不安定を駆動する同期モードを生成する。 これらの結果は、ワークロードのヘテロジニティが完了をデシンクロし、メモリ制限されたサーブを安定化するのに役立つときに特徴付けられる。 より広範に、サービスによる混雑を構造的不安定性機構とみなし、高いスループットを維持するためのスケジューリング設計原則を導出する。

関連論文リスト

• Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy [79.09714980186278]
  非構造化環境で永続的なエンボディエージェントを構築するには、異種ツールの統一的なオーケストレーションが必要である。 我々は,多モーダルなセマンティックプランナを統合したフレームワークであるOmniActを紹介した。 すべての複雑性レベルにわたって、エンドツーエンドの成功において一貫した改善が達成されます。
  論文  参考訳（メタデータ） (2026-06-25T16:36:35Z)
• Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
  ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。 本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。 75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
  論文  参考訳（メタデータ） (2026-05-15T19:33:45Z)
• Adaptive Memory Decay for Log-Linear Attention [1.0099625992507715]
  シーケンスモデルは、メモリ容量と計算効率の根本的なトレードオフに直面している。 ログ線形の注意は、Fenwickツリー階層をまたいでメモリを整理することで、このトレードオフをナビゲートする。 我々は、軽量な2層構造を用いて入力から直接学習し、位置よりもコンテンツに適応する、トーケン毎のレベル減衰を生成することを提案する。
  論文  参考訳（メタデータ） (2026-05-07T21:05:28Z)
• Stream-CQSA: Avoiding Out-of-Memory in Attention Computation via Flexible Workload Scheduling [0.0]
  Stream-CQSAはメモリ適応型スケジューリングフレームワークで、注意を任意のメモリ予算に適合するサブプロブレムに分割する。 実験では、予測可能なメモリスケーリングを示し、数十億のシーケンスに対する正確な注意が、ストリーミング経由で単一のGPU上で実行可能であることを示す。
  論文  参考訳（メタデータ） (2026-04-22T17:46:09Z)
• Adaptive Resource and Memory Control for Stability in Quantum Entanglement Distribution [0.0]
  トラフィックと有限メモリコヒーレンスの下で動作している量子リピータノードの混雑に注意する制御。 待ち行列理論フレームワークを用いて安定性,遅延,忠実性のトレードオフを分析する。 その結果、量子ネットワークにおける適応的なリソース管理のためのキュー対応の混雑制御の視点が得られた。
  論文  参考訳（メタデータ） (2026-03-25T23:36:38Z)
• Memory-Conditioned Flow-Matching for Stable Autoregressive PDE Rollouts [0.0]
  自己回帰生成型PDEソルバは1歩前進し、長いロールアウトでドリフトする。 未解決変数の除去はマルコフ項で完全に解決された進化をもたらすことを示す。 次に、条件生成誤差からメモリ近似を分離する離散的なGrnwallロールアウト境界を導出する。
  論文  参考訳（メタデータ） (2026-02-06T13:21:52Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• AutoLayout: Closed-Loop Layout Synthesis via Slow-Fast Collaborative Reasoning [102.71841660031065]
  Autoは、クローズドループの自己検証プロセスをデュアルシステムフレームワークに統合する、完全に自動化された方法である。 Autoの有効性は8つの異なるシナリオで検証され、SOTA法よりも10.1%改善された。
  論文  参考訳（メタデータ） (2025-07-06T08:35:22Z)
• Regularity and Stability Properties of Selective SSMs with Discontinuous Gating [18.718025325906762]
  本稿では, 連続時間選択SSMの安定性と規則性について検討する。 我々は、本質的なエネルギー散逸が過去の状態を指数的に忘れることを保証することを確証する。 本研究は,安定かつ信頼性の高い深層選択型SSMの理解と設計のための厳密な枠組みを提供する。
  論文  参考訳（メタデータ） (2025-05-16T18:08:40Z)
• CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
  本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。 トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T18:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。