論文の概要: Flow-Controlled Scheduling for LLM Inference with Provable Stability Guarantees

• arxiv url: http://arxiv.org/abs/2604.11001v1
• Date: Mon, 13 Apr 2026 05:03:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.335013
• Title: Flow-Controlled Scheduling for LLM Inference with Provable Stability Guarantees
• Title（参考訳）: 確率安定性保証付きLPM推論のためのフロー制御型スケジューリング
• Abstract要約: ChatGPTとGeminiは現在、数億人のアクティブユーザーを提供している。 LLM推論における重要な課題は、デコードの長さが未知であることである。 本稿では,アクティベーションセットにプロンプトが参加する速度を制御する,シンプルなフロー制御フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.052782170493037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have been widely adopted due to their great performance across a wide range of applications. ChatGPT and Gemini now serve hundreds of millions of active users and handle billions of user requests per day, which puts optimizing LLM inference into the spotlight. A key challenge in LLM inference is that decode lengths are unknown. The memory usage for each request grows with generated tokens, which may lead to overflow and cause system instability. To address this concern, we propose a simple flow-control framework that controls the rate at which prompts join the active set. We derive a necessary condition that any stable system must satisfy and establish sufficient conditions under which our algorithm provably achieves stability. Experiments show that, compared to commonly used strategies in practice, our approach achieves higher token and request throughput, lower average and tail latency, and more stable KV cache utilization.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いアプリケーションにまたがる優れた性能のために広く採用されている。 ChatGPTとGeminiは今や数億人のアクティブユーザーを提供し、毎日何十億ものユーザーリクエストを処理する。 LLM推論における重要な課題は、デコードの長さが未知であることである。 リクエスト毎のメモリ使用量は、生成されたトークンによって増加し、オーバーフローを引き起こし、システムの不安定を引き起こす可能性がある。 この問題に対処するため,本研究では,プロンプトがアクティブセットに参加する速度を制御する,シンプルなフロー制御フレームワークを提案する。 我々は、どの安定系も満たさなければならない必要条件を導出し、我々のアルゴリズムが確実に安定を達成できる十分な条件を確立する。 実験の結果,本手法ではトークンと要求スループットの向上,平均遅延とテールレイテンシの低減,KVキャッシュ利用の安定化を実現している。

関連論文リスト

• BALANCE: Hybrid Autoregressive-Speculative LLM Inference in Wireless Edge Networks [12.929167421781074]
  エッジ推論は、次世代モバイルネットワークで大規模言語モデル(LLM)推論サービスを提供するための有望なパラダイムである。 LLM推論は主に2つのアプローチに依存している: 自己回帰復号(AD)は出力トークンを逐次生成し、長いレイテンシをもたらす。 エッジLLM推論のためのハイブリッド自己回帰-投機的推論(BALANCE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-06T11:57:36Z)
• AdaptiveSD A Stability-Aware, Runtime-Adaptive Speculative Decoding Framework with Multi-Policy Orchestration for CPU-Constrained LLM Inference [0.0]
  固定深度投機的復号化は有望な手法の1つとして現れてきたが、実際には、帯域幅の飽和、不安定性、あるいは破滅的なリソースの枯渇による性能低下がシステム障害の原因となることが多い。 当社のソリューションは、4つの密結合したコンポーネントが連続的なフィードバックループで連携する。Adaptive Draft Controller、Dynamic Policy Engine、KVキャッシュ調整レイヤ、モニタリングエンジンである。 従来の手法はスループットを最大化することのみに重点を置いているが,提案手法の有効性は,投機的効率の標準的な測定基準と並行して,無駄な計算処理やトークン間遅延分散など,いくつかの重要な指標に基づいて評価する。
  論文  参考訳（メタデータ） (2026-07-04T13:39:40Z)
• Multi-scale Coarse-to-fine Modeling for Test-time Human Motion Control [51.92884966472683]
  MSCoTは、テストタイムの人間のモーション合成と制御のための、マルチスケールで粗い粒度モデルである。 MSCoTは動きを多スケールの階層表現に識別し、各時間スケールでトークンシーケンス全体を予測する。
  論文  参考訳（メタデータ） (2026-05-14T15:09:49Z)
• Beyond Short-Horizon: VQ-Memory for Robust Long-Horizon Manipulation in Non-Markovian Simulation Benchmarks [96.60530830276281]
  RuleSafeは、スケーラブルなLLM支援シミュレーションフレームワーク上に構築された、新しいオペレーティングベンチマークである。 VQ-Memoryはベクトル量子化変分オートエンコーダを用いたコンパクトで構造化された時間表現である。
  論文  参考訳（メタデータ） (2026-03-10T11:13:54Z)
• lm-Meter: Unveiling Runtime Inference Latency for On-Device Language Models [7.524517279167586]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます統合されています。 モバイルおよびエッジデバイス(オンデバイスLDM)でLLMをローカルに実行することは、プライバシー、信頼性、通信コストの削減を約束する。 オンデバイスLSM推論に適した,最初の軽量オンライン遅延プロファイラであるlm-Meterを提案する。
  論文  参考訳（メタデータ） (2025-10-07T17:05:30Z)
• Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
  大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。 それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。 本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
  論文  参考訳（メタデータ） (2025-09-29T15:52:08Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• Optimizing LLM Inference: Fluid-Guided Online Scheduling with Memory Constraints [14.341123057506827]
  大規模言語モデル(LLM)は、今日のアプリケーションでは必須であるが、推論手順は重要な計算資源を必要とする。 本稿では,多段階オンラインスケジューリング問題としてLLM推論最適化を定式化する。 我々は,アルゴリズム設計をガイドするトラクタブルなベンチマークを提供するために,流体力学近似を開発した。
  論文  参考訳（メタデータ） (2025-04-15T16:00:21Z)
• Online Scheduling for LLM Inference with KV Cache Constraints [22.133592174540052]
  大規模言語モデル(LLM)推論は、レイテンシとリソース利用を最適化するための効率的なスケジューリングを必要とする集約的なプロセスである。 KVキャッシュのメモリを効果的に管理しながら、推論遅延を最小限に抑える、新しい理論的なスケジューリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-10T23:11:44Z)
• Length Controlled Generation for Black-box LLMs [70.57649832433451]
  大規模言語モデル (LLM) は印象的な命令に従う能力を示しているが、生成したテキストの長さを正確に管理することは困難である。 本稿では,Metropolis-Hastingsアルゴリズムと重要なサンプリング高速化戦略を組み合わせた,テキスト長制御のための新しい反復サンプリングフレームワークを提案する。 このフレームワークは,Llama3.1における長さ制御の抽象的要約などのタスクに対して,ほぼ100%の成功率を達成する。
  論文  参考訳（メタデータ） (2024-12-19T09:07:38Z)
• Multi-Bin Batching for Increasing LLM Inference Throughput [19.652542432683234]
  大規模言語モデル(LL)は、システムの効率性を向上させるために人気が高まっている。 リクエストはサーバ上のジョブをスケジューリングする重要なステップです。 リクエストは、しばしば異なる生成長を持ち、リソースの未利用を引き起こす。 我々は、この問題をキューイング理論の観点から形式化し、スループット制御ポリシーを設計することを目的とする。
  論文  参考訳（メタデータ） (2024-12-03T03:16:12Z)
• Efficient Inference for Large Language Model-based Generative Recommendation [78.38878421030522]
  LLM(Large Language Model)ベースの生成レコメンデーションは目覚ましい成功を収めた。 ジェネレーティブレコメンデーションにSD(Speculative Decoding)を適用すると、トップKアイテムを生成する必要があるため、ユニークな課題が提示される。 我々は,厳密なトップK検証の下でトップKアライメントを最適化する AtSpeed-S というアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-07T16:23:36Z)
• Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs [60.58434523646137]
  大規模言語モデル(LLM)からの出力の正確性を改善するための一般的なアプローチは、自己整合性である。 コスト効率のよいモデルに依存しない手法であるAdaptive-Consistencyを導入し,各質問のサンプル数を動的に調整する。 実験の結果,Adaptive-Consistencyはサンプル予算を最大7.9倍に削減し,平均精度は0.1%以下であった。
  論文  参考訳（メタデータ） (2023-05-19T17:49:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。