論文の概要: Carbon-Aware Routing for Function Calling in Edge-Cloud LLM Systems

• arxiv url: http://arxiv.org/abs/2609.13559v1
• Date: Fri, 11 Sep 2026 21:51:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.394559
• Title: Carbon-Aware Routing for Function Calling in Edge-Cloud LLM Systems
• Title（参考訳）: エッジクラウドLLMシステムにおける機能呼び出しのためのカーボンアウェアルーティング
• Abstract要約: 関数呼び出し機能を持つ大規模言語モデル(LLM)は、現代のエージェントAIシステムにとって重要なものになりつつある。 現在の展開は通常、強力なクラウドベースのモデルに推論をルーティングし、重要なエネルギー利用と二酸化炭素排出量を発生させる。 このサステナビリティの課題に,3層エッジクラウドアーキテクチャで関数呼び出しクエリを分散する,カーボンアウェアなルーティングフレームワークで対処する。
• 参考スコア（独自算出の注目度）: 0.6539757820891136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) with function-calling capabilities are becoming critical for modern agentic AI systems. Nevertheless, current deployments typically route inferences to powerful cloud-based models, incurring significant energy use and carbon emissions. We address this sustainability challenge with a carbon-aware routing framework that distributes function-calling queries across a three-tier edge-cloud architecture, combining edge and cloud LLMs on heterogeneous hardware. At its core, a lightweight k-NN predictor operating in a unified semantic-lexical embedding space estimates query-specific accuracy, delay, and power consumption on each edge tier. These predictions are then combined with real-time grid carbon intensity to route every query to the lowest-emission tier capable of executing it successfully. Evaluated on state-of-the-art function-calling benchmarks and LLM families, our framework matches cloud-level accuracy while reducing operational carbon emissions by $4\times$ on average.
• Abstract（参考訳）: 関数呼び出し機能を持つ大規模言語モデル(LLM)は、現代のエージェントAIシステムにとって重要なものになりつつある。 しかしながら、現在の展開は通常、強力なクラウドベースのモデルに推論をルーティングし、重要なエネルギー利用と二酸化炭素排出量を発生させる。 このサステナビリティの課題に対処するため,不均一なハードウェア上でエッジとクラウドLLMを組み合わせた,3層エッジクラウドアーキテクチャに関数呼び出しクエリを分散する,カーボン対応のルーティングフレームワークを提案する。 中心となるk-NN予測器は、各エッジ層におけるクエリ固有の精度、遅延、消費電力を推定する。 これらの予測はリアルタイムグリッドカーボン強度と組み合わせて、全てのクエリを正常に実行可能な最低出力層にルーティングする。 我々のフレームワークは、最先端の関数呼び出しベンチマークとLLMファミリに基づいて評価され、クラウドレベルの精度と一致し、運転中の二酸化炭素排出量を平均4\times$で削減する。

関連論文リスト

• GAR: Carbon-Aware Routing for LLM Inference via Constrained Optimization [3.0215547730060206]
  現在の経路法では、持続可能なエネルギー利用やCO2排出量を最適化の目的として考えることはめったにない。 我々は,リクエスト毎のCO2排出量を最小限に抑える制約付き多目的最適化フレームワークであるGreen-Aware Routing(GAR)を紹介する。 GARは、競争精度とp95レイテンシの保証を維持しながら、かなりの炭素削減を達成する。
  論文  参考訳（メタデータ） (2026-05-12T06:32:31Z)
• SGA-MCTS: Decoupling Planning from Execution via Training-Free Atomic Experience Retrieval [74.1918709002557]
  我々は, LLM計画を非パラメトリック検索として活用するフレームワークである textbfSGA-MCTS を紹介する。 オンラインでは、検索増強剤は、関連するステート-ゴール-アクション原子を取得するために、ハイブリッドシンボリック-セマンティック機構を使用する。 SGA-MCTSは、探索の重い計算コストを効果的に減らし、System 1推論速度におけるシステム2推論の深さを達成し、スケーラブルかつリアルタイムに自律的な計画が実現可能である。
  論文  参考訳（メタデータ） (2026-04-16T07:22:36Z)
• ROSA-Tuning: Enhancing Long-Context Modeling via Suffix Matching [10.500711586744746]
  長いコンテキスト能力と計算効率は、今日の大きな言語モデルが直面している中心的な課題の一つである。 本稿では,事前学習モデルの長文モデリング能力を高めるための検索・リコール機構であるROSA-Tuningを提案する。
  論文  参考訳（メタデータ） (2026-01-14T13:12:08Z)
• GLOW: Graph-Language Co-Reasoning for Agentic Workflow Performance Prediction [51.83437071408662]
  本稿では,AW性能予測のための統合フレームワークGLOWを提案する。 GLOWは、GNNのグラフ構造モデリング能力とLLMの推論能力を組み合わせる。 FLORA-Benchの実験では、GLOWは予測精度とランキングユーティリティにおいて最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-12-11T13:30:46Z)
• Scaling Up Occupancy-centric Driving Scene Generation: Dataset and Method [54.461213497603154]
  作業中心の手法は、最近、フレームとモダリティをまたいだ一貫した条件付けを提供することで、最先端の結果を得た。 Nuplan-Occは、広く使われているNuplanベンチマークから構築された、これまでで最大の占有率データセットである。 高品質な占有、多視点ビデオ、LiDAR点雲を共同で合成する統合フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-10-27T03:52:45Z)
• CarbonCall: Sustainability-Aware Function Calling for Large Language Models on Edge Devices [0.44784055850794474]
  大規模言語モデル(LLM)は、エッジAIシステムでのリアルタイム関数呼び出しを可能にするが、計算オーバーヘッドが大幅に増加し、高消費電力と二酸化炭素排出量につながる。 持続可能な機能呼び出しフレームワークであるCarbonCallを導入し、動的ツールの選択、炭素認識の実行、量子化適応を統合した。 NVIDIA Jetson AGX Orinの実験によると、CarbonCallは炭素排出量を最大52%削減し、消費電力を30%削減し、実行時間を30%削減し、高い効率を維持している。
  論文  参考訳（メタデータ） (2025-04-29T01:37:08Z)
• PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
  ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。 事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。 そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T16:41:21Z)
• AOLO: Analysis and Optimization For Low-Carbon Oriented Wireless Large Language Model Services [14.664814078159282]
  大規模言語モデル (LLM) は、エネルギー消費と炭素フットプリントの大幅な増加により、懸念が高まっている。 低炭素指向の無線LLMサービスの解析と最適化のためのフレームワークであるAOLOを提案する。 AOLOは、LLMサービスチェーン全体にわたる温室効果ガス排出量を定量化する包括的な炭素フットプリントモデルを導入している。 SNNに基づく深部強化学習(SDRL)という低炭素指向最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-06T13:21:38Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• LACS: Learning-Augmented Algorithms for Carbon-Aware Resource Scaling with Uncertain Demand [1.423958951481749]
  本稿では,未知の作業時間(OCSU)を用いたオンラインCO_2-Awareリソーススケーリング問題について検討する。 我々は,論理的に堅牢な学習拡張アルゴリズムであるLACSを提案し,OCSUを解く。 LACSは、納期を意識した炭素に依存しない作業と比較して、炭素フットプリントの32%の削減を実現している。
  論文  参考訳（メタデータ） (2024-03-29T04:54:22Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。