論文の概要: Request-Level Energy Attribution for Batched LLM Serving

• arxiv url: http://arxiv.org/abs/2608.00026v1
• Date: Sat, 11 Jul 2026 07:41:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 09:01:43.89565
• Title: Request-Level Energy Attribution for Batched LLM Serving
• Title（参考訳）: バッチLDM作業における要求レベルエネルギー属性
• Abstract要約: バッチLDM機能によりスループットが向上するが、エネルギー会計が複雑になる。 2つのコンポーネントを持つ属性フレームワークであるJouleShareを紹介します。 軽量キャリブレーションモデルであるJCalibは、サービス時に使用する安価な要求機能からShapleyのシェアを予測することを学ぶ。
• 参考スコア（独自算出の注目度）: 7.679847200130566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batched LLM serving improves throughput but complicates energy accounting. GPU power telemetry is aggregate, whereas sustainability reporting, chargeback, and workload analysis often require request-level energy charges. Existing inference-energy benchmarks report model-, phase-, or token-level energy, and recent carbon-accounting work motivates Shapley fairness conceptually. Neither provides measured request-level ground truth, so how far the accounting rules used in practice deviate from a fair allocation has remained unknown. We present JouleShare, an attribution framework with two components. An offline harness establishes this ground truth by replaying request subsets under vLLM with a reproducible protocol, integrating GPU power telemetry, and computing exact Shapley energy for each request. A lightweight calibration model, JCalib, then learns to predict Shapley shares from cheap request features for use at serving time. Across 16 model/workload runs, token-proportional attribution differs from exact Shapley by 0.440 normalized L1 on average under static batching and by 0.458 under continuous batching, a gap that reproduces across three data-center GPUs. JCalib reduces this error to 0.116 under static batching and 0.177 under continuous batching, below even a standalone-measurement baseline that is unavailable online, while preserving exact batch-energy efficiency. Sampled Shapley extends the measured reference to larger group sizes, where the gap persists and a single offline calibration remains the most accurate deployable rule. The results show that token attribution is not a reliable proxy for marginal energy under batched execution, and that measured Shapley ground truth can calibrate low-cost request features toward fairer attribution.
• Abstract（参考訳）: バッチLDM機能によりスループットが向上するが、エネルギー会計が複雑になる。 GPUパワーテレメトリは集約的であるが、サステナビリティレポート、チャージバック、ワークロード分析は要求レベルのエネルギー料金を必要とすることが多い。 既存の推論エネルギーベンチマークでは、モデルレベル、フェーズレベル、トークンレベルのエネルギーが報告されており、最近の炭素会計の研究はシャプリーフェアネスを概念的に動機付けている。 どちらも要求レベル基底の真理を測るものではないので、実際に使われている会計規則が公平な割り当てからどの程度逸脱しているかはわからない。 2つのコンポーネントを持つ属性フレームワークであるJouleShareを紹介します。 オフラインハーネスは、vLLMの下でリクエストサブセットを再現可能なプロトコルで再生し、GPUパワーテレメトリを統合し、リクエスト毎に正確なShapleyエネルギを計算することで、この基礎的な真実を確立する。 軽量キャリブレーションモデルであるJCalibは、サービス時に使用する安価な要求機能からShapleyのシェアを予測することを学ぶ。 16のモデル/ワークロードの実行全体で、トークン比の属性は、静的バッチでは平均で0.440の正規化L1、連続バッチでは0.458の正確なShapleyと異なる。 JCalibは、このエラーを静的なバッチ処理で0.116、連続的なバッチ処理で0.177に減らし、オンラインでは利用できないスタンドアロンの計測ベースラインまで減らし、正確なバッチ効率を保っている。 サンプリングされたShapleyは測定基準をより大きなグループサイズに拡張し、ギャップは持続し、単一オフラインキャリブレーションは最も正確なデプロイ可能なルールのままである。 その結果,トークン属性はバッチ実行時の限界エネルギーに対する信頼性の高いプロキシではなく,シャプリー基底の真理はより公平な属性に対する低コストな要求特徴をキャリブレーションできることがわかった。

関連論文リスト

• A Measurement Study of LLM Inference Trade-offs Across Edge Continuum Hardware [0.14913052010438635]
  大きな言語モデル(LLM)は、インテリジェントなWebサービスのバックエンドとしてますます使われています。 本稿では,エッジおよび近縁デプロイメントノード間での自己ホスト型LLM推論の制御された測定結果を提案する。
  論文  参考訳（メタデータ） (2026-09-08T06:28:32Z)
• Beyond Solvability: Task Learnability as a Static Prior for LLM RL Post-Training [52.78248352851176]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルにおける推論能力を引き出すための訓練後のパラダイムである。 本研究では,この残差軸をタスク学習可能性として検討する。 そこで我々はTrajValを提案する。TrajValは、短いプローブランと2つのエンドポイント評価からタスク毎の学習可能性を近似する軽量なプローブベース推定器である。
  論文  参考訳（メタデータ） (2026-08-10T07:43:05Z)
• The Cost of Adaptivity: Matching Lower Bounds Across Learning Problems [1.0742675209112622]
  我々はスライス正規化ミニマックス比を用いてニュアンス適応を定式化する。 また、事前発表された1つのガウスクエリから任意のポストホックインスペクションへ拡張するコストを定義する。
  論文  参考訳（メタデータ） (2026-08-09T17:19:11Z)
• Exact and Certified Data Shapley for Weighted k-Nearest-Neighbor Regression and Soft-Label Prediction [0.0]
  厳密なアルゴリズムは、最寄りの分類と回帰のために存在する。 重み付き回帰とソフトラベル予測は正確な手法に抵抗している。 オープンソースでCPUのみのライブラリをリリースしています。
  論文  参考訳（メタデータ） (2026-07-12T04:38:38Z)
• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• RRISE: Robust Radius Inference via a Surrogate Estimator [30.521314184750867]
  我々はRSフレームワークRRISEを導入し、認証を学習したサロゲートを1つのフォワードパスに圧縮する。 CIFAR-100とTiny ImageNetでは、唯一のオフラインサロゲート方式が崩壊し、RRISEは1.23ドルから1.91タイムスを高い精度で達成した。
  論文  参考訳（メタデータ） (2026-06-01T20:46:06Z)
• DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
  本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-05-17T07:14:44Z)
• Reframing preprocessing selection as model-internal calibration in near-infrared spectroscopy: A large-scale benchmark of operator-adaptive PLS and Ridge models [0.2609784101826761]
  本稿では,探索を1つのキャリブレーションステップに分解できる事例について検討する。 線形演算子適応キャリブレーションは、徹底的な前処理スクリーニングに匹敵する予測品質を与える。
  論文  参考訳（メタデータ） (2026-05-13T14:23:00Z)
• LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
  評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。 このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。 チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
  論文  参考訳（メタデータ） (2026-03-28T18:03:32Z)
• Bayesian Uncertainty Quantification with Anchored Ensembles for Robust EV Power Consumption Prediction [0.8602553195689513]
  EVパワー推定は、レンジ予測とエネルギー管理の基盤となっているが、実践者はポイント精度と信頼できる不確実性の両方を必要としている。 本稿では,不確かさを両立させるアンロックアンサンブル長短記憶(LSTM)を提案する。 RMSE 3.36 +/- 1.10, MAE 2.21 +/- 0.89, R-squared = 0.93 +/- 0.02, 共分散 0.93 +/- 0.02 を解析し, ほぼノルミナルカバレッジを持つよく校正された不確かさ帯域を提供する。
  論文  参考訳（メタデータ） (2025-11-09T20:49:42Z)
• Boundary-Guided Policy Optimization for Memory-efficient RL of Diffusion Large Language Models [53.339700196282905]
  大きな言語モデル(dLLM)に強化学習を適用する上で重要な課題は、その可能性関数の抽出性である。 本稿では,ELBOに基づく目的の特別に構築された下界を最大化するメモリ効率のRLアルゴリズムを提案する。 実験によると、BGPOは数学の問題解決、コード生成、計画タスクにおいて、dLLMの以前のRLアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-10-13T17:47:50Z)
• Fair Document Valuation in LLM Summaries via Shapley Values [0.0]
  大規模言語モデル(LLM)は、複数のソースからコンテンツを検索して要約するシステムにおいて、ますます使われている。 これらのシステムは、オリジナルのコンテンツ制作者の個々の貢献を曖昧にし、クレジットの帰属と補償に関する懸念を提起した。 公平な文書評価のためのShapley値に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-28T15:14:21Z)
• Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting [60.98700344526674]
  線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。 本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。 この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
  論文  参考訳（メタデータ） (2021-05-17T17:22:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。