論文の概要: Phase-Decoupled, Model-Calibrated Power Control for Disaggregated LLM Serving

• arxiv url: http://arxiv.org/abs/2609.11133v1
• Date: Thu, 10 Sep 2026 06:23:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.231943
• Title: Phase-Decoupled, Model-Calibrated Power Control for Disaggregated LLM Serving
• Title（参考訳）: 相分離型モデルキャリブレーションによる分散LDMサービングの制御
• Abstract要約: NVIDIAのMax-Q推論プロファイルを分離したB200システムにデプロイする。 エージェント負荷下でQwen3-Coder-480B (FP8) を提供する8x B200ノード上では、バランスの取れたモードは、+20.4%トークン/Jを+3.5%平均e2eで提供する。
• 参考スコア（独自算出の注目度）: 1.249668212599889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Datacenter GPU power is the binding constraint on LLM serving capacity, and production serving has shifted to prefill/decode (PD) disaggregation. Deploying NVIDIA's Max-Q inference profile on a disaggregated B200 system, we found its realized gain modest (+8.6% tokens/J), model-dependent, and carrying a mean end-to-end latency cost (+5.2%) that throughput-only evaluation does not surface; the profile also applies one setting to prefill and decode GPUs that operate in opposite hardware regimes. We hypothesize that the optimal power setting is a property of the deployed (model, quantization, engine, hardware) combination rather than of the GPU class, that each lane warrants its own profile, and that converting SLO headroom into energy safely requires latency-gated calibration under a runtime SLO guard rather than a fixed recipe. We present a phase-decoupled, model-calibrated controller: the prefill lane runs under an SM-clock window whose floor is a latency guarantee by construction, and the decode lane under a power cap placed by automatic calibration just above a measured throughput/latency cliff. Because a disaggregated decode lane draws flat, memory-bound power, the cap binds continuously, the reactive-overshoot weakness that led POLCA to reject capping is absent, and the GPU's own power manager retains throughput under the cap. On an 8x B200 node serving Qwen3-Coder-480B (FP8) under agentic load, our balanced mode delivers +20.4% tokens/J at +3.5% mean e2e versus +8.6% at +5.2% for Max-Q, a Pareto improvement on both axes. On Qwen3-235B-A22B (NVFP4) every operating mode meets the ITL-p99 SLO in every repetition; both vendor profiles miss it. A decode-actuator A/B shows the calibrated cap beats static clock locks, and a three-day sustained run saves 32.3% of a lane pair's electricity. Both models are MoE; a dense model recovers roughly 5x less, so we scope our claims to MoE serving.
• Abstract（参考訳）: データセンターGPUパワーはLLMサービス容量のバインディング制約であり、本番サービス提供はプリフィル/デコード(PD)デアグリゲーションに移行している。 NVIDIAのMax-Q推論プロファイルを非凝集B200システムにデプロイすると、その実現したゲインモデスト(+8.6%トークン/J)、モデル依存、スループットのみの評価が表面化しない平均的なエンドツーエンドレイテンシコスト(+5.2%)が実現された。 我々は、最適電力設定はGPUクラスではなくデプロイされた(モデル、量子化、エンジン、ハードウェア)組み合わせの特性であり、各レーンが独自のプロファイルを保証し、SLOヘッドルームを安全にエネルギーに変換するには、固定されたレシピではなくランタイムSLOガードの下での遅延ゲートキャリブレーションが必要であると仮定する。 本稿では, プレフィルレーンは, 床が建設による遅延保証となるSM時間窓の下を走行し, パワーキャップの下のデコードレーンは, 測定スループット/遅延崖の直上に自動校正により設置される。 分解されたデコードレーンはフラットでメモリバウンドな電力を引き出すため、キャップは連続的にバインドされ、POLCAがキャップを拒絶したリアクティブオーバーシュート弱みは欠落し、GPU自身のパワーマネージャはキャップの下にスループットを保持する。 エージェント負荷下でQwen3-Coder-480B (FP8) を提供する8x B200ノード上では、バランスの取れたモードでは、+20.4%トークン/Jが+3.5%の平均e2e対+8.6%、Max-Qは+5.2%、両軸はPareto改善されている。 Qwen3-235B-A22B (NVFP4) では、各操作モードは反復ごとにTL-p99 SLOに適合する。 デコードアクチュエータA/Bは、キャリブレーションされたキャップが静的クロックロックを打ち負かし、3日間持続したランがレーンペアの電気の32.3%を節約する。 どちらのモデルもMoEであり、密集したモデルはおよそ5倍の時間で回復します。

関連論文リスト

• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Benchmarking LLM-Guided Control-Plane Policies for Backend Fault Isolation in HAProxy [0.0]
  我々は、大規模言語モデルが静的ルーティングポリシーそのものを置き換えることができるかどうかを問う。 3B 能動パラメータの近傍で能動閾値を求める。 その上、アーキテクチャに関係なく、すべてのモデルは、クライアントが認識した5xxエラーの88%近くを飽和させます。
  論文  参考訳（メタデータ） (2026-08-11T06:15:20Z)
• LLMVisor: A Real-Time Latency Attribution Model for Multi-Tenant LLM Serving [12.697860184583483]
  共バッチはスループットを向上するが、テナント単位の使用量やコントロール制限は曖昧になる。 本稿では、メモリバウンドおよび計算バウンドフェーズをキャプチャするルーフライン誘導遅延モデルであるLLMVisorを提案する。 トークンカウントベースラインと比較して、LLMVisorは、ほぼ完全なR-二乗を実現し、相対誤差を最大2.5倍まで削減する。
  論文  参考訳（メタデータ） (2026-08-09T00:28:05Z)
• Operating Multi-Node Full Fine-Tuning on NVIDIA B300: A Field Report on Telemetry-Based Triage, Negative Results, and Operational Hardening [6.384763560610076]
  我々は16 x NVIDIA B300(FSDP/Zero-3)上の32.76Bパラメータ密度モデル(Qwen3-32B)をフルチューニングした運用経験を報告する。 我々の貢献は、新しいハードウェア上でのフィールド体験と調整された一連の測定である。 我々は、PyTorchの文書化されたJoin / equalize-to-minimumプラクティスに対するインスタンスを配置する。
  論文  参考訳（メタデータ） (2026-08-06T12:11:25Z)
• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Think Before You Grid-Search: Floor-First Triage for LLM Serving [0.0]
  LLMサービス最適化は通常、多くの設定をベンチマークし、遅延ターゲットが欠落しているときに重いプロファイラに到達する。 我々は逆の規律を主張する: 推定はプロファイリングの分析的な層である。
  論文  参考訳（メタデータ） (2026-07-07T06:11:54Z)
• Reliability-Asymmetric Spacecraft Autonomy: Co-Designing a Capable Learned GNC Stack with a Verified, Adaptation-Aware Runtime Shield [2.28438857884398]
  ルールベースの自律性は認証可能であるが不安定であり、学習された自律性は能力があるが検証するのは難しい。 AMPLE-GNCは3層誘導、ナビゲーション、制御スタックである。 文法制約付き復号化による事前訓練された360Mモデルの微調整は、ハードな出力値保証を与える。 我々は,有能な制御器であっても,ラッチングセーフホールドシールドが抑制可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-24T03:55:21Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• OverFill: Two-Stage Models for Efficient Language Model Decoding [68.68408155020568]
  大規模言語モデル(LLM)は多様なタスクにまたがって優れていますが、高い推論コストのため、デプロイメント上の大きな課題に直面しています。 プリフィルとデコードステージを分離し,精度と効率のトレードオフを最適化するOverFillを提案する。 我々の3B-to-1B OverFill構成は1Bプルーニングモデルを83.2%上回り、8B-to-3B構成は3Bプルーニングモデルを79.2%上回った。
  論文  参考訳（メタデータ） (2025-08-11T20:07:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。