論文の概要: Creating Power Flexibility in Datacenters via Query Routing

• arxiv url: http://arxiv.org/abs/2611.05148v1
• Date: Tue, 03 Nov 2026 16:22:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 14:07:26.169376
• Title: Creating Power Flexibility in Datacenters via Query Routing
• Title（参考訳）: クエリルーティングによるデータセンタのパワーフレキシビリティ作成
• Abstract要約: 本研究では、そのような機能を実現するメカニズムとして、クエリルーティングについて検討する。 クエリの到着率とシーケンス長分布を結合する一般的な分析フレームワークを開発する。 1Bから70Bパラメータの言語モデルに基づいて、4つのGPUプラットフォームにまたがるフレームワークを検証する。
• 参考スコア（独自算出の注目度）: 20.355747842623106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing energy requirements of large language model inference highlight the need for datacenters to support safe grid operation by providing power demand flexibility, while maintaining service for interactive workloads. This work investigates query routing as a mechanism to enable such capability by dynamically allocating queries across different language model instances without deferring requests. We develop a general analytical framework that connects query arrival rates and sequence length distributions to token iteration time, request residence time, serving capacity, and power consumption of model instances. Leveraging this framework, we characterize the feasible query routing allocations and the corresponding power demand flexibilities, enabling the selection of routing strategies to achieve desired power consumption behavior. We validate our framework across four GPU platforms on language models ranging from 1B to 70B parameters, obtaining 2.8% mean absolute percentage error in estimating achievable power flexibility. We evaluate our approach on a real trace-driven simulation of a 10,000 H100 GPUs datacenter, exhibiting flexibility up to 16% of total power consumption, with 90% of the desired power reduction achieved within approximately 10 seconds. These results establish query routing as an effective mechanism for datacenter power demand flexibility and demonstrate the broader applicability of our proposed framework to datacenter level planning and orchestration.
• Abstract（参考訳）: 大規模言語モデル推論のエネルギー要件の増加は、対話的なワークロードのサービスを維持しながら、電力需要の柔軟性を提供することによって、安全なグリッド操作をサポートするデータセンタの必要性を強調している。 本研究では、要求を遅延することなく、異なる言語モデルインスタンスに動的にクエリを割り当てることにより、そのような機能を実現するメカニズムとしてクエリルーティングを検討する。 本稿では,クエリの到着率とシーケンス長分布をトークン反復時間,要求滞留時間,サービス能力,モデルインスタンスの消費電力に結びつける一般的な分析フレームワークを開発する。 この枠組みを応用して、本手法により、実行可能なクエリルーティングルーティングアロケーションと、それに対応する電力需要フレキシビリティを特徴付けることにより、ルーティング戦略の選択により、所望の電力消費行動を実現することができる。 我々は,1Bパラメータから70Bパラメータまでの言語モデルに基づいて,4つのGPUプラットフォームにまたがるフレームワークを検証する。 我々は,1万のH100 GPUの本当のトレース駆動シミュレーションに対する我々のアプローチを評価し,最大16%の電力消費,約10秒で所望の電力消費の90%を達成できる柔軟性を示した。 これらの結果は、データセンターの電力需要の柔軟性のための効果的なメカニズムとしてクエリルーティングを確立し、提案したフレームワークがデータセンターレベルの計画とオーケストレーションに広く適用可能であることを実証する。

関連論文リスト

• Stepped MoE: Segment-Level Routing with Configurable Inference Complexity [12.437778624898838]
  柔軟性のある構造と疎結合なアーキテクチャを組み合わせた統一的なフレームワークを導入し、デプロイ制約とタスク要求の両方に同時に適応するモデルを作成します。 提案手法では,コンテキストと目標の効率仕様の両方を規定したモデルバックボーンを用いて,推定時間における精度-効率トレードオフのきめ細かい制御を可能にする。
  論文  参考訳（メタデータ） (2026-10-05T20:18:26Z)
• PowerAtlas: Towards Electricity-Computing Co-Scheduling for Power Systems [42.32975870695121]
  PowerAtlasは、電気計算のコスケジューリングのためのフレームワークである。 歴史的インスタンス、ドメイン知識、物理的な制約を統合する。 グリッドの運用ルールとサービスレベルの合意を満たす共同決定を生成する。
  論文  参考訳（メタデータ） (2026-07-29T09:53:50Z)
• Power-Flexible AI Data Centers: A New Paradigm for Grid-Responsive Compute [0.7399816551817894]
  従来の電力系統計画では、大規模コンピューティング施設を柔軟性のないピーク負荷として扱い、コストのかかるインフラのアップグレードとグリッド相互接続の長い遅延につながる。 最近の研究によると、AIクラスタはソフトウェアベースのワークロードオーケストレーションによって、ピーク時の電力消費を削減できる。 粒度の細かいクラスタ電力制御のためのグリッド信号,ワークロードスケジューリング,電力テレメトリを統合したアーキテクチャについて述べる。 130kWのGPUクラスタ上の実世界のデプロイによる実験結果は、優先度ジョブのサービスレベルを保ちながら、高速な負荷削減、持続的な削減、炭素認識操作など、さまざまな形式の柔軟性を示している。
  論文  参考訳（メタデータ） (2026-06-23T19:13:19Z)
• DCcluster-Opt: Benchmarking Dynamic Multi-Objective Optimization for Geo-Distributed Data Center Workloads [14.834687262955585]
  持続可能な時空間タスクスケジューリングのためのオープンソースの高忠実度シミュレーションベンチマークであるDCcluster-Optを提案する。 AIのワークロードトレース、グリッドカーボンの強度、電力市場、20のグローバルリージョンにわたる天候、クラウド送信コスト、経験的ネットワーク遅延パラメータなど、実世界のデータセットを組み合わせている。 モジュール型報酬システムは、二酸化炭素排出量、エネルギーコスト、サービスレベル合意、水利用の間のトレードオフを明示的に研究することを可能にする。
  論文  参考訳（メタデータ） (2025-10-31T03:07:12Z)
• PowerGrow: Feasible Co-Growth of Structures and Dynamics for Power Grid Synthesis [75.14189839277928]
  本稿では,運用効率を維持しながら計算オーバーヘッドを大幅に削減する,共同生成フレームワークPowerGrowを提案する。 ベンチマーク設定による実験では、PowerGrowはフィデリティと多様性において、事前の拡散モデルよりも優れていた。 これは、運用上有効で現実的な電力グリッドシナリオを生成する能力を示している。
  論文  参考訳（メタデータ） (2025-08-29T01:47:27Z)
• Adaptive Resource Allocation for Virtualized Base Stations in O-RAN with Online Learning [55.08287089554127]
  基地局(vBS)を備えたオープンラジオアクセスネットワークシステムは、柔軟性の向上、コスト削減、ベンダーの多様性、相互運用性のメリットを提供する。 本研究では,予期せぬ「混み合う」環境下であっても,効率的なスループットとvBSエネルギー消費のバランスをとるオンライン学習アルゴリズムを提案する。 提案手法は, 課題のある環境においても, 平均最適性ギャップをゼロにすることで, サブ線形後悔を実現する。
  論文  参考訳（メタデータ） (2023-09-04T17:30:21Z)
• Federated Learning for Energy-limited Wireless Networks: A Partial Model Aggregation Approach [79.59560136273917]
  デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。 提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
  論文  参考訳（メタデータ） (2022-04-20T19:09:52Z)
• Power Modeling for Effective Datacenter Planning and Compute Management [53.41102502425513]
  我々は,すべてのハードウェア構成とワークロードに適用可能な,正確でシンプルで解釈可能な統計パワーモデルの設計と検証の2つのクラスについて論じる。 提案された統計的モデリング手法は, 単純かつスケーラブルでありながら, 4つの特徴のみを用いて, 95% 以上の多様な配電ユニット (2000 以上) に対して, 5% 未満の絶対パーセンテージエラー (MAPE) で電力を予測できることを実証した。
  論文  参考訳（メタデータ） (2021-03-22T21:22:51Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。