論文の概要: CarbonCall: Sustainability-Aware Function Calling for Large Language Models on Edge Devices

• arxiv url: http://arxiv.org/abs/2504.20348v1
• Date: Tue, 29 Apr 2025 01:37:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.712674
• Title: CarbonCall: Sustainability-Aware Function Calling for Large Language Models on Edge Devices
• Title（参考訳）: CarbonCall: エッジデバイス上の大規模言語モデルに対するサステナビリティを意識した関数呼び出し
• Authors: Varatheepan Paramanayakam, Andreas Karatzas, Iraklis Anagnostopoulos, Dimitrios Stamoulis,
• Abstract要約: 大規模言語モデル(LLM)は、エッジAIシステムでのリアルタイム関数呼び出しを可能にするが、計算オーバーヘッドが大幅に増加し、高消費電力と二酸化炭素排出量につながる。 持続可能な機能呼び出しフレームワークであるCarbonCallを導入し、動的ツールの選択、炭素認識の実行、量子化適応を統合した。 NVIDIA Jetson AGX Orinの実験によると、CarbonCallは炭素排出量を最大52%削減し、消費電力を30%削減し、実行時間を30%削減し、高い効率を維持している。
• 参考スコア（独自算出の注目度）: 0.44784055850794474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) enable real-time function calling in edge AI systems but introduce significant computational overhead, leading to high power consumption and carbon emissions. Existing methods optimize for performance while neglecting sustainability, making them inefficient for energy-constrained environments. We introduce CarbonCall, a sustainability-aware function-calling framework that integrates dynamic tool selection, carbon-aware execution, and quantized LLM adaptation. CarbonCall adjusts power thresholds based on real-time carbon intensity forecasts and switches between model variants to sustain high tokens-per-second throughput under power constraints. Experiments on an NVIDIA Jetson AGX Orin show that CarbonCall reduces carbon emissions by up to 52%, power consumption by 30%, and execution time by 30%, while maintaining high efficiency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、エッジAIシステムでのリアルタイム関数呼び出しを可能にするが、計算オーバーヘッドが大幅に増加し、高消費電力と二酸化炭素排出量につながる。 既存の方法は持続可能性を無視しながら性能を最適化し、エネルギー制約環境では非効率にする。 持続可能な機能呼び出しフレームワークであるCarbonCallを導入し、動的ツールの選択、炭素認識実行、量子化LDM適応を統合した。 CarbonCallは、リアルタイムの炭素強度予測とモデル間のスイッチに基づいて電力閾値を調整し、高トークン/秒スループットを電力制約下で維持する。 NVIDIA Jetson AGX Orinの実験によると、CarbonCallは炭素排出量を最大52%削減し、消費電力を30%削減し、実行時間を30%削減し、高い効率を維持している。

関連論文リスト

• Carbon-Efficient 3D DNN Acceleration: Optimizing Performance and Sustainability [7.059399419316343]
  3D統合はパフォーマンスを向上させるが、持続可能性の問題をもたらす。 本稿では3次元加速器の炭素効率設計手法を提案する。 提案手法は,高い計算精度を維持しつつ,シリコン面積と製造オーバーヘッドを効果的に低減する。
  論文  参考訳（メタデータ） (2025-04-14T03:48:37Z)
• Ecomap: Sustainability-Driven Optimization of Multi-Tenant DNN Execution on Edge Servers [0.44784055850794474]
  本稿では,実時間炭素強度に基づいてエッジデバイスの最大出力閾値を調整するフレームワークであるEcomapを紹介する。 NVIDIA Jetson AGX Xavierを用いた実験の結果、Ecomapは二酸化炭素排出量を平均30%削減することが示された。
  論文  参考訳（メタデータ） (2025-03-06T06:56:51Z)
• CEGI: Measuring the trade-off between efficiency and carbon emissions for SLMs and VLMs [0.0]
  本稿では,Small Language Models(SLM)とVision Language Models(VLM)の性能解析を行う。 モデル性能と二酸化炭素排出量のトレードオフを定量化するために,CEGI(Carbon Efficient Gain Index)と呼ばれる新しい指標を導入する。 以上の結果から,大規模モデルによる精度の限界向上は,二酸化炭素排出量の大幅な増加を正当化するものではないことが示唆された。
  論文  参考訳（メタデータ） (2024-12-03T17:32:47Z)
• The Sunk Carbon Fallacy: Rethinking Carbon Footprint Metrics for Effective Carbon-Aware Scheduling [2.562727244613512]
  本研究は, 炭素会計指標を用いて, 所定のサーバ群上での炭素を意識したジョブスケジューリングと配置を評価する。 本研究では, 炭素添加コストに影響を及ぼす要因について検討した。
  論文  参考訳（メタデータ） (2024-10-19T12:23:59Z)
• Carbon Market Simulation with Adaptive Mechanism Design [55.25103894620696]
  炭素市場(英: carbon market)は、個人の利益をグローバルユーティリティーと整合させる経済エージェントをインセンティブとする、市場ベースのツールである。 階層型モデルフリーマルチエージェント強化学習(MARL)を用いて市場をシミュレートする適応機構設計フレームワークを提案する。 MARLは、政府エージェントが生産性、平等、二酸化炭素排出のバランスをとることができることを示している。
  論文  参考訳（メタデータ） (2024-06-12T05:08:51Z)
• Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
  ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている 本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。 本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
  論文  参考訳（メタデータ） (2024-04-28T05:46:28Z)
• Efficiency Pentathlon: A Standardized Arena for Efficiency Evaluation [82.85015548989223]
  Pentathlonは、モデル効率の総合的で現実的な評価のためのベンチマークである。 Pentathlonは、モデルライフサイクルにおける計算の大部分を占める推論に焦点を当てている。 レイテンシ、スループット、メモリオーバーヘッド、エネルギー消費など、さまざまな効率面をターゲットにしたメトリクスが組み込まれている。
  論文  参考訳（メタデータ） (2023-07-19T01:05:33Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model [72.65502770895417]
  176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントを,そのライフサイクルにわたって定量化する。 BLOOMの最終訓練で約24.7トンのカルボネックが放出されたと推定する。 本稿では,機械学習モデルの炭素フットプリントを正確に推定することの難しさについて論じる。
  論文  参考訳（メタデータ） (2022-11-03T17:13:48Z)
• Real-time high-resolution CO$_2$ geological storage prediction using nested Fourier neural operators [58.728312684306545]
  炭素捕獲貯蔵(CCS)は、地球規模の脱炭酸に不可欠な役割を担っている。 CCS展開のスケールアップには, 貯留層圧力上昇とガス配管マイグレーションの高精度かつ高精度なモデリングが必要である。 我々は,高分解能な3D CO2ストレージモデリングのための機械学習フレームワークであるNested Fourier Neural Operator (FNO)を,盆地スケールで導入した。
  論文  参考訳（メタデータ） (2022-10-31T04:04:03Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation [0.0]
  本研究では, 炭素効率について検討し, トレーニングモデルによる環境影響の低減のための代替策を提案する。 本研究では,機械翻訳モデルの性能を複数の言語対で評価する。 これらのモデルの様々なコンポーネントを調べ、これらの二酸化炭素排出量を減らすために最適化できるパイプラインの側面を分析します。
  論文  参考訳（メタデータ） (2021-09-26T12:30:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。