論文の概要: GAR: Carbon-Aware Routing for LLM Inference via Constrained Optimization

• arxiv url: http://arxiv.org/abs/2605.11603v1
• Date: Tue, 12 May 2026 06:32:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.630601
• Title: GAR: Carbon-Aware Routing for LLM Inference via Constrained Optimization
• Title（参考訳）: GAR:制約付き最適化によるLCM推論のためのカーボンアウェアルーティング
• Authors: Disha Sheshanarayana, Rajat Subhra Pal, Manjira Sinha, Tirthankar Dasgupta,
• Abstract要約: 現在の経路法では、持続可能なエネルギー利用やCO2排出量を最適化の目的として考えることはめったにない。 我々は,リクエスト毎のCO2排出量を最小限に抑える制約付き多目的最適化フレームワークであるGreen-Aware Routing(GAR)を紹介する。 GARは、競争精度とp95レイテンシの保証を維持しながら、かなりの炭素削減を達成する。
• 参考スコア（独自算出の注目度）: 3.0215547730060206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing deployment of large language models (LLMs) makes per-request routing essential for balancing response quality and computational cost across heterogeneous model pools. Current routing methods rarely consider sustainable energy use and CO2 emissions as optimization objectives, despite grid carbon intensity varying by time and region, and models differing significantly in energy consumption. To address this gap, we introduce Green-Aware Routing (GAR), a constrained multi-objective optimization framework that minimizes per-request CO2 emissions subject to explicit accuracy floors and p95-latency service-level objectives (SLOs). GAR employs adaptive constraint optimization through per-dataset floor tuning and incorporates lightweight estimators for correctness, tail latency, and carbon emissions, enabling real-time routing decisions without additional inference passes. We present GAR-PD, a practical online primal-dual routing algorithm for rolling carbon budgets, alongside heuristic variants that achieve high feasibility coverage while limiting accuracy degradation. Comprehensive experiments across standard NLP benchmarks with heterogeneous LLM pools (7B-70B) demonstrate that GAR achieves substantial carbon reductions while maintaining competitive accuracy and p95 latency guarantees, providing a practical, theoretically grounded approach to sustainable LLM inference.
• Abstract（参考訳）: 大規模言語モデル(LLM)の展開が増加することで、不均一なモデルプール間の応答品質と計算コストのバランスをとるために、要求ごとのルーティングが不可欠になる。 現在の経路法は、時間や地域によって異なるグリッド炭素強度にもかかわらず、持続可能なエネルギー利用やCO2排出量を最適化の目的として考えることは稀であり、エネルギー消費において大きな違いがある。 このギャップに対処するため、我々はGAR(Green-Aware Routing)という制約付き多目的最適化フレームワークを導入し、要求毎のCO2排出量を明示的な精度フロアとp95レイテンシーサービスレベル目標(SLO)に基づいて最小化する。 GARは、データセット毎のフロアチューニングによる適応的制約最適化を採用し、精度、テールレイテンシ、二酸化炭素排出量の軽量な推定器を導入し、追加の推論パスなしでリアルタイムのルーティング決定を可能にする。 GAR-PDは, 精度の低下を抑えつつ, 高い実現可能性のカバレッジを実現するヒューリスティックな変種とともに, 炭素予算を転がすための実用的なオンライン原始二重ルーティングアルゴリズムである。 ヘテロジニアス LLM プール (7B-70B) を用いた標準 NLP ベンチマークの総合的な実験により、GAR は競争精度と p95 レイテンシ保証を維持しながら炭素削減を実現し、持続可能な LLM 推論に対する実用的、理論的基礎的なアプローチを提供することを示した。

関連論文リスト

• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards [69.74686029941881]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論能力を改善するための効果的なパラダイムである。 トレーニングを通して高価値ロールアウトを適応的に選択する統合型ニューラルネットワークスケジューリングフレームワークを提案する。 6つの数学的推論ベンチマークの実験では、複数のRLVR最適化手法で性能と訓練効率が一貫した向上を示した。
  論文  参考訳（メタデータ） (2026-02-09T10:51:58Z)
• Adaptive Linear Path Model-Based Diffusion [52.84663832658799]
  リニアパスモデルベース拡散(LP-MBD)を導入し、分散保存スケジュールをフローマッチング線形確率パスに置き換える。 また,適応型LP-MBD(ALP-MBD)を提案し,タスクの複雑さや環境条件に応じて拡散ステップやノイズレベルを調整する。
  論文  参考訳（メタデータ） (2026-02-02T21:33:03Z)
• Reinforcement Learning-Based Energy-Aware Coverage Path Planning for Precision Agriculture [6.218614094739671]
  本稿では,SAC(Soft Actor-Critic)強化学習に基づくエネルギー対応CPPフレームワークを提案する。 エネルギー制限下での堅牢で適応的な意思決定を可能にするため、このフレームワークは空間的特徴抽出のためにCNN(Conal Neural Networks)を統合している。 専用報酬関数は、カバレッジ効率、エネルギー消費、ベース間のリターン制約を共同で最適化するように設計されている。
  論文  参考訳（メタデータ） (2026-01-23T02:33:14Z)
• Aligning LLMs on a Budget: Inference-Time Alignment with Heuristic Reward Models [23.37504394417425]
  HIA(Heuristic-Guided Inference-time Alignment)は,軽量プロンプトを用いたチューニング不要でブラックボックス互換のアプローチである。 HIAは1つまたは2つの応答クエリの少ない低推論予算下で有効であることが判明した。
  論文  参考訳（メタデータ） (2025-08-07T08:54:27Z)
• CarboFormer: A Lightweight Semantic Segmentation Architecture for Efficient Carbon Dioxide Detection Using Optical Gas Imaging [4.567122178196833]
  二酸化炭素排出量(CO$$)は、環境影響と産業プロセスの両方の重要な指標である。 光ガスイメージング(OGI)のための軽量セマンティックセグメンテーションフレームワークCarboFormerを紹介する。 提案手法は,最適化エンコーダデコーダアーキテクチャと,特殊なマルチスケール機能融合と補助監視戦略を統合したものである。
  論文  参考訳（メタデータ） (2025-05-23T18:01:42Z)
• CATransformers: Carbon Aware Transformers Through Joint Model-Hardware Optimization [15.52721716387361]
  当社では,Transformerベースのモデルとハードウェアアクセラレーションのための,最初のカーボンを意識した共同最適化フレームワークである,当社のフレームワークを紹介します。 本研究は, モデル性能と実行時間性能を損なうことなく, 炭素効率を優先する全体最適化手法の必要性を強調した。
  論文  参考訳（メタデータ） (2025-05-02T16:49:10Z)
• AOLO: Analysis and Optimization For Low-Carbon Oriented Wireless Large Language Model Services [14.664814078159282]
  大規模言語モデル (LLM) は、エネルギー消費と炭素フットプリントの大幅な増加により、懸念が高まっている。 低炭素指向の無線LLMサービスの解析と最適化のためのフレームワークであるAOLOを提案する。 AOLOは、LLMサービスチェーン全体にわたる温室効果ガス排出量を定量化する包括的な炭素フットプリントモデルを導入している。 SNNに基づく深部強化学習(SDRL)という低炭素指向最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-06T13:21:38Z)
• Towards Green AI in Fine-tuning Large Language Models via Adaptive Backpropagation [58.550710456745726]
  ファインチューニングは、トレーニング済みの大規模言語モデル(LLM)を下流アプリケーションに適用する最も効果的な方法である。 既存の高速微調整技術は, FLOPの低減に限界がある。 本稿では,異なるテンソルのバックプロパゲーションコストを適応的に評価する新しい手法であるGreenTrainerについて述べる。
  論文  参考訳（メタデータ） (2023-09-22T21:55:18Z)
• Solving Multistage Stochastic Linear Programming via Regularized Linear Decision Rules: An Application to Hydrothermal Dispatch Planning [77.34726150561087]
  AdaSO(Adaptive least absolute shrinkage and selection operator)に基づく線形決定規則(LDR)の新しい正規化手法を提案する。 実験により、MSLPを解くために古典的な非正規化LDRを使用する場合、過度に適合する脅威は無視できないことが示された。 LHDP問題に対しては、非正規化ベンチマークと比較して、提案したフレームワークの次の利点を強調した。
  論文  参考訳（メタデータ） (2021-10-07T02:36:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。