論文の概要: PowerSlider: Exploiting Phase Asymmetry for LLM Serving under Demand Response

• arxiv url: http://arxiv.org/abs/2608.21719v1
• Date: Sat, 22 Aug 2026 01:48:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 13:34:07.418437
• Title: PowerSlider: Exploiting Phase Asymmetry for LLM Serving under Demand Response
• Title（参考訳）: PowerSlider:需要応答下でのLDM実行のための爆発的位相非対称性
• Abstract要約: PowerSliderは、有界ユーザスラックを最適化制約に変換する。 Karush--Kuhn-Tucker (KKT) オンラインソルバは、キャップ変更毎に7.7ms以内で解決される。 生産痕跡のあるSGLangでは、sysは78.3%のオンライン品質を30%の上限で維持している。
• 参考スコア（独自算出の注目度）: 8.662658724511179
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI inference clusters are increasingly constrained by instantaneous power, not just energy: grid operators condition new capacity on demand response, imposing time-varying power caps. Existing LLM serving systems optimize a static energy objective or shed fixed priority tiers under load; either way, goodput collapses when the power envelope moves. An LLM pipeline is not a uniform load: compute-bound prefill loses throughput almost linearly with GPU frequency, memory-bound answer decode sustains it down to $0.57\times$ nominal, and reasoning's thinking phase couples KV-cache capacity to scheduling -- so a cap should be steered to where each watt costs the least performance. PowerSlider does so with a new Flex SLO contract that turns bounded user slack into an optimization constraint, prefill--think--answer disaggregation exposing per-stage frequency and KV control, and a Karush--Kuhn--Tucker (KKT) online solver re-solving within 7.7 ms of every cap change, backed by a consolidated fail-safe that power-gates drained instances when DVFS bottoms out on static power. On SGLang with production traces, \sys{} sustains 78.3\% online goodput at a 30\% cap reduction versus 47.6\% for the best of five baselines ($1.64\times$), holds latency-critical tails within $1.3\times$ of nominal (baselines: $2.3$--$6\times$, up to $12\times$), and delivers 92\% mean goodput through a replayed CAISO grid-emergency day bottoming at $0.41\times$ (54\% at the trough; every baseline below 7\%).
• Abstract（参考訳）: AI推論クラスタは、エネルギーだけでなく、瞬間的なパワーによってますます制約される。 既存のLLMサービスシステムは、負荷下での静的エネルギー目標または固定優先度階層を最適化するが、いずれにせよ、パワーエンベロープが動くと出力が崩壊する。 計算バウンドのプリフィルは、ほぼ線形にGPU周波数でスループットを失う。メモリバウンドの応答デコードは、それを0.57\times$ナチュラルに維持する。そして、推論の思考フェーズのペアは、スケジューリングにKV-cacheのキャパシティーを -- そのため、上限は、各ワットが最小パフォーマンスの場所にある。PowerSliderは新しいFlex SLO契約によって、バウンドされたユーザスラックを最適化の制約、ステージ毎の周波数とKV制御を発行するプリフィル・アンサーのデアグリゲーション、およびKarush-Kuhn-Tucker (KT)オンラインソルバを、すべての変更の7.7ms以内にリゾルバをリゾルすることで、DFSインスタンスがダウンする時に、障害を発生させる。 生産トレースを持つSGLangでは、Shasys{}は、30 %の上限で78.3 %のオンライングッドプットを維持できるが、5つのベースラインのベストに対して47.6 %の遅延クリティカルなテールを1.3 ドル以内に保持する(ベースライン:2.3 ドル--6 ドル、最大12 ドル)。

関連論文リスト

• Phase-Decoupled, Model-Calibrated Power Control for Disaggregated LLM Serving [1.249668212599889]
  NVIDIAのMax-Q推論プロファイルを分離したB200システムにデプロイする。 エージェント負荷下でQwen3-Coder-480B (FP8) を提供する8x B200ノード上では、バランスの取れたモードは、+20.4%トークン/Jを+3.5%平均e2eで提供する。
  論文  参考訳（メタデータ） (2026-09-10T06:23:37Z)
• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• An Embedded RISC-V Evaluation of Kolmogorov--Arnold Networks in Hard-Constrained Recurrent Physics-Informed Models [0.0]
  Kolmogorov--Arnold Networks (KAN) は多層パーセプトロン (MLP) の効率的な代替として提案されている。 本稿では,パラメータ効率がデプロイに有効かどうかを問う。
  論文  参考訳（メタデータ） (2026-08-01T16:20:24Z)
• ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
  textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。 回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。 我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
  論文  参考訳（メタデータ） (2026-07-14T17:50:50Z)
• Think Before You Grid-Search: Floor-First Triage for LLM Serving [0.0]
  LLMサービス最適化は通常、多くの設定をベンチマークし、遅延ターゲットが欠落しているときに重いプロファイラに到達する。 我々は逆の規律を主張する: 推定はプロファイリングの分析的な層である。
  論文  参考訳（メタデータ） (2026-07-07T06:11:54Z)
• Capacity-Constrained Online Convex Optimization with Delayed Feedback [58.59385794080679]
  容量制約下での遅延オンライン凸最適化(OCO)について検討した。 1次フィードバックの場合、容量$C = (log T)$ sufficesで標準遅延OCOレートを対数係数まで回復できることがわかった。 包帯フィードバックの場合、後悔率は$(1 + _textmax/C)$で変調される。
  論文  参考訳（メタデータ） (2026-06-10T06:37:06Z)
• YouZhi: Towards High-Concurrency Financial LLMs via Adaptive GQA-to-MLA Transition [78.52944812151664]
  大きな言語モデル(LLM)は、大きな金融革新をもたらすが、そのデプロイメントはKVキャッシュメモリのオーバーヘッドによってボトルネックになる。 我々は,Huawei Ascendエコシステム上に構築された包括的な構造遷移とトレーニングパイプラインによって強化された,高効率な金融LLMであるYouZhi-LLMを提案する。
  論文  参考訳（メタデータ） (2026-06-04T08:44:37Z)
• The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
  Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。 このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
  論文  参考訳（メタデータ） (2026-04-23T02:12:58Z)
• Dual-Pool Token-Budget Routing for Cost-Efficient and Reliable LLM Serving [9.457255218406333]
  プロダクションvLLMフリートは通常、最悪のコンテキスト長に対して各インスタンスをプロビジョニングする。 実際には、80-95%のリクエストは短いが、長いコンテキストに最適化された設定の下で提供される。 本稿では,同種艦隊を2つの専用プールに分割する軽量ディスパッチ機構であるデュアルプールトークン予算ルーティングを提案する。
  論文  参考訳（メタデータ） (2026-04-09T10:47:20Z)
• Large Language Models as Optimization Controllers: Adaptive Continuation for SIMP Topology Optimization [4.365822392824561]
  本稿では,SIMP最適化のためのオンラインコントローラとして,大規模言語モデルが機能するフレームワークを提案する。 ハードグレーネスゲートは未熟なバイナライゼーションを防止し、メタ最適化ループは第2パスを使用してエージェントの呼び出し周波数を調整する。 エージェントはすべてのベンチマークの最終的なコンプライアンスを達成する:$5.7%$から$-1%、すべてのソリューションが完全にバイナリである。
  論文  参考訳（メタデータ） (2026-03-26T07:14:31Z)
• Quantum Inspired Vehicular Network Optimization for Intelligent Decision Making in Smart Cities [2.449235776276883]
  本稿では、車間通信(V2V)と車間通信(V2I)を協調的に最適化する量子インスパイアされたフレームワークQIVNOMを提案する。 その結果、QIVNOMは平均エンドツーエンドのレイテンシを57.3msに減らし、最高のベースラインよりも約20%低くした。
  論文  参考訳（メタデータ） (2026-03-26T03:04:50Z)
• ATLAS: Efficient Atom Rearrangement for Defect-Free Neutral-Atom Quantum Arrays Under Transport Loss [46.043413607980845]
  ニュートラル原子量子コンピュータは、光学格子に配列された個別に閉じ込められた原子の量子ビットを符号化する。 アルゴリズムはランダムにロードされた$W times W$格子を欠陥のない$L times L$サブアレイに変換する。 アルゴリズムは, 対象次元の必要初期サイズの線形化と線形化を実現する。
  論文  参考訳（メタデータ） (2025-11-20T12:32:35Z)
• LLM Assisted Alpha Fairness for 6 GHz WiFi and NR_U Coexistence: An Agentic Orchestrator for Throughput, Energy, and SLA [6.508485899860138]
  Wi-Fiと5G NR-Uはリス・バイ・トーク(LBT)ルールの下で同じチャンネルで競合する。 ポリシーと実行を分離するエージェントコントローラを提案する。 2つの160MHzチャネルと混合Wi-Fi/NR-Uユーザーを持つ6GHzシミュレータでは、LDMアシストポリシーは強力なルールベースラインとのスループットを保ちながら、エネルギー効率を一貫して改善する。
  論文  参考訳（メタデータ） (2025-09-26T15:34:45Z)
• Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling [50.994194925685434]
  LrcSSMは$textitnon-linear$リカレントモデルで、現在の線形状態空間層と同じくらい高速に長いシーケンスを処理する。 ヤコビ行列を対角線に強制することにより、全列を並列に解くことができる。 LrcSSMは、Liquid-S4のような他の入力変化系が提供しないことを保証する形式的な勾配安定性を提供する。
  論文  参考訳（メタデータ） (2025-05-27T20:02:59Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。