論文の概要: Context Is Not Free: Carbon-Aware LLM Routing for Multi-Turn LLM Web Services across Geo-Distributed Data Centers

• arxiv url: http://arxiv.org/abs/2610.35230v1
• Date: Mon, 26 Oct 2026 11:20:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.840654
• Title: Context Is Not Free: Carbon-Aware LLM Routing for Multi-Turn LLM Web Services across Geo-Distributed Data Centers
• Title（参考訳）: コンテクストは無料: 地理的に分散したデータセンターをまたいだマルチTurn LLM WebサービスのためのCarbon-Aware LLMルーティング
• Abstract要約: Carbonは、各クエリのモデル、GPUタイプ、リージョンを共同で選択して、二酸化炭素排出量を最小限にするオンラインフレームワークである。 我々は,5つのデータセット,3つのGPUタイプ,4つの領域を用いた2つの実世界の会話に関するトレース駆動実験において,Carbonを評価した。
• 参考スコア（独自算出の注目度）: 8.273985265966006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The sustainability of the Web has drawn growing attention, as large language model (LLM)-based web services leave a substantial carbon footprint. These services typically run in geo-distributed data centers whose grid carbon intensity varies across regions and over time, so routing each query to a cleaner region or a smaller model can reduce emissions. A conversation, however, is a stateful web session: each turn reuses the key--value (KV) cache of its history, which resides only where earlier turns were served. Serving a turn on another deployment requires recomputing this history, whose carbon cost grows with the conversation and can outweigh the saving of the move. Existing carbon-aware LLM routers treat a conversation's queries as independent and ignore this cost. We present CarbonRouter, an online framework that jointly selects the model, GPU type, and region for each query to minimize carbon emissions. CarbonRouter introduces a cache-aware carbon cost model, which charges history recomputation to every candidate deployment using cached-token counts from the serving backends, and uses a lightweight gate that keeps a session on its cached deployment when it would likely move back at the next turn and rebuild its history again. We evaluate CarbonRouter in trace-driven experiments on two real-world conversation datasets with five LLMs, three GPU types, and four regions, where it achieves the lowest carbon of all policies. CarbonRouter reduces CO$_2$ by 16.1\% on average relative to FairCarbon, a state-of-the-art carbon-aware router with the same action space, while also improving predicted answer quality and estimated latency. Moreover, the saving rises further to 23.1\% for sessions longer than 30 turns.
• Abstract（参考訳）: 大規模言語モデル(LLM)ベースのWebサービスがかなりのカーボンフットプリントを残しているため、Webの持続可能性に注目が集まっている。 これらのサービスは一般的に、グリッドカーボンの強度が地域によって異なる地理的に分散したデータセンターで実行されるため、各クエリをよりクリーンなリージョンまたはより小さなモデルにルーティングすることで、排出を減らすことができる。 しかし会話はステートフルなWebセッションであり、各ターンはその履歴のキー値(KV)キャッシュを再利用する。 別のデプロイメントのターンを実行するには、この履歴を再計算する必要がある。 既存のカーボン対応LLMルータは、会話のクエリを独立して扱い、このコストを無視する。 提案するCarbonRouterは,クエリ毎にモデル,GPUタイプ,リージョンを共同で選択して,二酸化炭素排出量を最小化するオンラインフレームワークである。 CarbonRouterは、キャッシュ対応のカーボンコストモデルを導入し、サービスバックエンドからキャッシュトケンカウントを使用して、すべての候補デプロイメントに対して履歴再計算を課金する。 我々は,5つのLLM,3つのGPUタイプ,4つのリージョンを持つ2つの実世界の会話データセットのトレース駆動実験において,CarbonRouterを評価する。 CarbonRouterは、同じアクション空間を持つ最先端のカーボン対応ルータであるFairCarbonと比較して平均でCO$2$を16.1\%削減し、予測された応答品質と推定レイテンシも改善した。 さらに、30ターン以上のセッションでは23.1\%に上昇する。

関連論文リスト

• Analytic-Walk Rotary Positional Encodings for Graphs [49.85093436361195]
  回転位置符号化は相対的な位置に対して注意を向けるが、グラフに拡張するには、グラフ構造がどのように回転に入るかを選択する必要がある。 従来の作業では、各ノードにスペクトル座標からの回転を割り当てていたため、2つのノード間の回転係数はエンドポイントに依存しており、それらを接続するルートを区別することができない。 我々はAW-RoPEを導入し、エッジに回転を配置し、すべてのウォークに移動した特徴を合計するので、異なるルートに沿ったコントリビューションが強化またはキャンセルできる。
  論文  参考訳（メタデータ） (2026-09-26T03:00:22Z)
• Carbon-Aware Routing for Function Calling in Edge-Cloud LLM Systems [0.6539757820891136]
  関数呼び出し機能を持つ大規模言語モデル(LLM)は、現代のエージェントAIシステムにとって重要なものになりつつある。 現在の展開は通常、強力なクラウドベースのモデルに推論をルーティングし、重要なエネルギー利用と二酸化炭素排出量を発生させる。 このサステナビリティの課題に,3層エッジクラウドアーキテクチャで関数呼び出しクエリを分散する,カーボンアウェアなルーティングフレームワークで対処する。
  論文  参考訳（メタデータ） (2026-09-11T21:51:39Z)
• SLA-Constrained Carbon-Aware Routing in Geo-Distributed Serverless Clouds [2.738529585053154]
  SLA対応領域内での最適炭素削減を実現するため, SLA制約付き炭素対応ルーティングポリシーを導入する。 実験結果から, SLA違反ゼロを維持しつつ, 最大46.8%の炭素削減を実現していることがわかった。 これらの結果から, クラウドシステムは, ユーザエクスペリエンスを損なうことなく, 大幅な炭素削減を達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-07-24T16:13:28Z)
• Carbon- and Precedence-Aware Scheduling for Data Processing Clusters [10.676357280358886]
  データ処理のための炭素対応スケジューリングは、時間的変化のある炭素と優先順位の制約の両方の知識から恩恵を受けることを示す。 このスケジューラは, 炭素削減時間と仕事完了時間の間に優先順位を付与し, 両者のトレードオフを特徴付ける分析結果を与える。 100ノードクラスタ上のSparkプロトタイプは、$texttPCAPS$の適度な設定によって、クラスタ全体の効率に大きな影響を与えることなく、炭素フットプリントを最大32.9%削減できることを示している。
  論文  参考訳（メタデータ） (2025-02-13T19:06:10Z)
• LACS: Learning-Augmented Algorithms for Carbon-Aware Resource Scaling with Uncertain Demand [1.423958951481749]
  本稿では,未知の作業時間(OCSU)を用いたオンラインCO_2-Awareリソーススケーリング問題について検討する。 我々は,論理的に堅牢な学習拡張アルゴリズムであるLACSを提案し,OCSUを解く。 LACSは、納期を意識した炭素に依存しない作業と比較して、炭素フットプリントの32%の削減を実現している。
  論文  参考訳（メタデータ） (2024-03-29T04:54:22Z)
• GreenCourier: Carbon-Aware Scheduling for Serverless Functions [1.2092241176897844]
  GreenCourierは、そのカーボン効率に基づいて、地理的に分散したリージョンにわたるサーバレス機能のランタイムスケジューリングを可能にするスケジューリングフレームワークである。 実験の結果、グリーンクーリエは他の手法と比較して、機能呼び出し当たりの二酸化炭素排出量を平均13.25%削減していることがわかった。
  論文  参考訳（メタデータ） (2023-10-31T11:35:50Z)
• CurveCloudNet: Processing Point Clouds with 1D Structure [49.137477909835276]
  我々はCurveCloudNetと呼ばれる新しいポイントクラウド処理方式とバックボーンを導入する。 CurveCloudNetは、ポイントクラウドをポリラインの集合としてパラメータ化し、ポイント上の局所的なサーフェスアウェアの順序を確立する。 CurveCloudNetは、様々なセグメンテーション設定において、ポイントベースとスパースボクセルの両方のバックボーンよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-21T17:41:36Z)
• Real-time high-resolution CO$_2$ geological storage prediction using nested Fourier neural operators [58.728312684306545]
  炭素捕獲貯蔵(CCS)は、地球規模の脱炭酸に不可欠な役割を担っている。 CCS展開のスケールアップには, 貯留層圧力上昇とガス配管マイグレーションの高精度かつ高精度なモデリングが必要である。 我々は,高分解能な3D CO2ストレージモデリングのための機械学習フレームワークであるNested Fourier Neural Operator (FNO)を,盆地スケールで導入した。
  論文  参考訳（メタデータ） (2022-10-31T04:04:03Z)
• Implementing Reinforcement Learning Datacenter Congestion Control in NVIDIA NICs [64.26714148634228]
  渋滞制御 (CC) アルゴリズムの設計は非常に困難になる。 現在、計算能力に制限があるため、ネットワークデバイスにAIモデルをデプロイすることはできない。 我々は,近年の強化学習CCアルゴリズムに基づく計算軽度解を構築した。
  論文  参考訳（メタデータ） (2022-07-05T20:42:24Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• Optimizing carbon tax for decentralized electricity markets using an agent-based model [69.3939291118954]
  人為的気候変動の影響を避けるためには、化石燃料から低炭素技術への移行が必要である。 炭素税は、この移行を支援する効率的な方法であることが示されている。 NSGA-IIの遺伝的アルゴリズムを用いて、電力混合の平均電気価格と相対炭素強度を最小化する。
  論文  参考訳（メタデータ） (2020-05-28T06:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。