論文の概要: LLM Inference Under Bursty Workload Distribution: Modifying the WAIT Algorithm

• arxiv url: http://arxiv.org/abs/2608.06135v1
• Date: Thu, 06 Aug 2026 15:07:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.938227
• Title: LLM Inference Under Bursty Workload Distribution: Modifying the WAIT Algorithm
• Title（参考訳）: バースト負荷分布を考慮したLLM推論:WAITアルゴリズムの修正
• Abstract要約: 本稿では,最先端WAITアルゴリズムの軽量拡張を提案する。 提案アルゴリズムは,観測時間に基づく要求強度のオンライン推定を行う。
• 参考スコア（独自算出の注目度）: 0.8564127299257368
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) such as ChatGPT and Claude are widely used for information retrieval and problem-solving. Recent work has focused on improving scheduling algorithms to boost throughput while maintaining low latency. However, these approaches often assume Poisson request arrivals with constant rates - an assumption that fails to reflect the inherently bursty and dynamic nature of real-world traffic. We propose a lightweight extension to the state-of-the-art WAIT algorithm [1], which adapts to time-varying arrival rates without prior traffic knowledge. The proposed algorithm performs online estimation of request intensity based on observed interarrival times. Using Markov Modulated Poisson Process (MMPP)-based synthetic workloads with diverse request types, we conduct a simulation-based evaluation demonstrating that the proposed method achieves higher throughput than Sarathi-Serve [2], ORCA [3], and vLLM [4] in the evaluated low arrival-rate shift scenarios while maintaining comparable latency.
• Abstract（参考訳）: ChatGPTやClaudeのような大規模言語モデル(LLM)は情報検索や問題解決に広く利用されている。 最近の作業は、低レイテンシを維持しながらスループットを向上させるためのスケジューリングアルゴリズムの改善に重点を置いている。 しかし、これらのアプローチはポアソンの要求到着を一定レートで仮定することが多く、これは現実世界の交通の本質的にバースト的でダイナミックな性質を反映しない仮定である。 本稿では,従来の交通知識を使わずに到着する時間変化に適応する,最先端のWAITアルゴリズム[1]の軽量拡張を提案する。 提案アルゴリズムは,観測時間に基づく要求強度のオンライン推定を行う。 多様な要求型を持つMarkov Modulated Poisson Process (MMPP) ベースの合成ワークロードを用いて,提案手法が,同等のレイテンシを維持しながら,評価された低到着率シフトシナリオにおいて,Sarathi-Serve [2],ORCA [3],vLLM[4]よりも高いスループットを達成することを示すシミュレーションベースの評価を行う。

関連論文リスト

• FlowADMM: Plug-and-play ADMM with Flow-based Renoise-Denoise Priors [2.986668330518244]
  FlowADMMは、逆問題を解決するための最先端のフローベース生成アルゴリズムである。 本研究では, FlowADMMが, 逆問題に対するフローベース生成手法の最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-05-09T03:21:01Z)
• Direct Preference Optimization with Rating Information: Practical Algorithms and Provable Gains [67.71020482405343]
  評価ギャップの形で追加情報を活用するアルゴリズムを設計する方法について検討する。 精度の高いレーティングギャップ情報が存在する場合,DPOよりも高速な統計的レートを実現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-01-31T08:38:21Z)
• Time-Embedded Algorithm Unrolling for Computational MRI [4.511561231517167]
  本稿では,逆問題に対する時間組込みアルゴリズムの解法を提案する。 本手法は,アーティファクトのエイリアスを効果的に低減し,ノイズ増幅を緩和し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-10-18T03:10:09Z)
• One-Step Flow Policy Mirror Descent [52.31612487608593]
  Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)
• Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
  本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-07-07T03:20:52Z)
• Optimization of Iterative Blind Detection based on Expectation Maximization and Belief Propagation [29.114100423416204]
  ブロックフェーディング線形シンボルチャネルに対するブラインドシンボル検出法を提案する。 本研究では,研究予測アルゴリズムとユビキタスな信条伝搬アルゴリズムを組み合わせた共同チャネル推定・検出手法を設計する。 提案手法は,効率よく一般化したスケジュールを学習し,高信号対雑音シナリオにおけるコヒーレントBP検出よりも優れることを示す。
  論文  参考訳（メタデータ） (2024-08-05T08:45:50Z)
• Age-Based Scheduling for Mobile Edge Computing: A Deep Reinforcement Learning Approach [58.911515417156174]
  我々は情報時代(AoI)の新たな定義を提案し、再定義されたAoIに基づいて、MECシステムにおけるオンラインAoI問題を定式化する。 本稿では,システム力学の部分的知識を活用するために,PDS(Post-Decision State)を導入する。 また、PSDと深いRLを組み合わせることで、アルゴリズムの適用性、スケーラビリティ、堅牢性をさらに向上します。
  論文  参考訳（メタデータ） (2023-12-01T01:30:49Z)
• Posterior Sampling with Delayed Feedback for Reinforcement Learning with Linear Function Approximation [62.969796245827006]
  Delayed-PSVI は楽観的な値に基づくアルゴリズムであり、後続サンプリングによる雑音摂動により値関数空間を探索する。 我々のアルゴリズムは、未知の遅延が存在する場合に、$widetildeO(sqrtd3H3 T + d2H2 E[tau]$最悪の後悔を実現する。 遅延LPSVIのための勾配に基づく近似サンプリングスキームをLangevin動的に組み込んだ。
  論文  参考訳（メタデータ） (2023-10-29T06:12:43Z)
• Beyond Exponentially Fast Mixing in Average-Reward Reinforcement Learning via Multi-Level Monte Carlo Actor-Critic [61.968469104271676]
  本稿では,アクター・アクターとアクター・アクター・アクター・アルゴリズムに埋め込まれた平均報酬に対して,マルチレベルモンテカルロ推定器を用いて混合時間に適応したRL手法を提案する。 不安定な報酬を伴うRL問題において,安定性に要求される技術的条件の緩和効果が,実用上優れた性能に変換されることを実験的に示す。
  論文  参考訳（メタデータ） (2023-01-28T04:12:56Z)
• Accurate non-stationary short-term traffic flow prediction method [0.0]
  本稿では,Long Short-Term Memory (LSTM) に基づく,短時間のトラフィックフローを正確に予測できる手法を提案する。 提案手法は, 極端外れ値, 遅延効果, トレンド変化応答に対して, 優れた性能を有する他の最先端手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2022-05-01T17:11:34Z)
• Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling [60.48359567964899]
  パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。 我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2021-05-01T10:18:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。