論文の概要: OpenCarbonEval: A Unified Carbon Emission Estimation Framework in Large-Scale AI Models

• arxiv url: http://arxiv.org/abs/2405.12843v1
• Date: Tue, 21 May 2024 14:50:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 13:00:17.724653
• Title: OpenCarbonEval: A Unified Carbon Emission Estimation Framework in Large-Scale AI Models
• Title（参考訳）: OpenCarbonEval: 大規模AIモデルにおける統一二酸化炭素排出量推定フレームワーク
• Authors: Zhaojian Yu, Yinghao Wu, Zhuotao Deng, Yansong Tang, Xiao-Ping Zhang,
• Abstract要約: OpenCarbonEvalは、二酸化炭素排出量を予測するために様々なモードで大規模なモデルを統合するためのフレームワークである。 視覚モデルと言語モデルの両方において,OpenCarbonEvalは,二酸化炭素排出量の予測性能に優れることを示す。
• 参考スコア（独自算出の注目度）: 16.93272879722972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, large-scale auto-regressive models have made significant progress in various tasks, such as text or video generation. However, the environmental impact of these models has been largely overlooked, with a lack of assessment and analysis of their carbon footprint. To address this gap, we introduce OpenCarbonEval, a unified framework for integrating large-scale models across diverse modalities to predict carbon emissions, which could provide AI service providers and users with a means to estimate emissions beforehand and help mitigate the environmental pressure associated with these models. In OpenCarbonEval, we propose a dynamic throughput modeling approach that could capture workload and hardware fluctuations in the training process for more precise emissions estimates. Our evaluation results demonstrate that OpenCarbonEval can more accurately predict training emissions than previous methods, and can be seamlessly applied to different modal tasks. Specifically, we show that OpenCarbonEval achieves superior performance in predicting carbon emissions for both visual models and language models. By promoting sustainable AI development and deployment, OpenCarbonEval can help reduce the environmental impact of large-scale models and contribute to a more environmentally responsible future for the AI community.
• Abstract（参考訳）: 近年,テキストやビデオ生成などのタスクにおいて,大規模自動回帰モデルが大きく進歩している。 しかしながら、これらのモデルによる環境への影響は、炭素フットプリントの評価と分析の欠如により、ほとんど見落とされてきている。 このギャップに対処するため、我々はOpenCarbonEvalを紹介します。これは、さまざまなモードで大規模なモデルを統合して炭素排出量を予測する統合フレームワークで、AIサービスプロバイダやユーザに対して、事前に排出量を見積もる手段を提供し、これらのモデルに関連する環境圧力を軽減します。 OpenCarbonEvalでは、トレーニングプロセスにおけるワークロードとハードウェアのゆらぎをキャプチャして、より正確なエミッション推定を行う動的スループットモデリング手法を提案する。 評価の結果,OpenCarbonEvalは従来手法よりも高精度にトレーニングエミッションを予測でき,異なるモーダルタスクにシームレスに適用できることがわかった。 具体的には,OpenCarbonEvalは,視覚モデルと言語モデルの両方において,二酸化炭素排出量を予測する上で優れた性能を発揮することを示す。 持続可能なAI開発とデプロイメントを促進することで、OpenCarbonEvalは大規模モデルの環境への影響を低減し、AIコミュニティにとってより環境に責任を持つ未来に貢献することができる。

関連論文リスト

• Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
  ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている 本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。 本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
  論文  参考訳（メタデータ） (2024-04-28T05:46:28Z)
• FedGreen: Carbon-aware Federated Learning with Model Size Adaptation [36.283273000969636]
  フェデレートラーニング(FL)は、分散クライアントからモデルを構築するための有望な協調フレームワークを提供する。 FLクライアントをホストするクラウドとエッジサーバは、さまざまな電力源を持つ地理的な場所の影響を受け、多様な炭素フットプリントを示す可能性がある。 我々は、クライアントと共有する適応型モデルサイズを採用することにより、モデルを効率的に訓練するための、炭素を意識したFLアプローチであるFedGreenを提案する。
  論文  参考訳（メタデータ） (2024-04-23T20:37:26Z)
• Green AI: Exploring Carbon Footprints, Mitigation Strategies, and Trade Offs in Large Language Model Training [9.182429523979598]
  特に炭素フットプリントが高い大言語モデルのCO2排出量について検討した。 我々は, 二酸化炭素排出削減対策を提案することによって, 責任と持続性を有するLLMの育成を議論する。
  論文  参考訳（メタデータ） (2024-04-01T15:01:45Z)
• Model-based Causal Bayesian Optimization [74.78486244786083]
  乗算重み付き因果ベイズ最適化のための最初のアルゴリズム(CBO-MW)を提案する。 グラフ関連の量に自然に依存するCBO-MWに対する後悔の限界を導出する。 我々の実験は、共有モビリティシステムにおいて、ユーザの需要パターンを学習するためにCBO-MWをどのように使用できるかの現実的なデモを含む。
  論文  参考訳（メタデータ） (2023-07-31T13:02:36Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• Real-time high-resolution CO$_2$ geological storage prediction using nested Fourier neural operators [58.728312684306545]
  炭素捕獲貯蔵(CCS)は、地球規模の脱炭酸に不可欠な役割を担っている。 CCS展開のスケールアップには, 貯留層圧力上昇とガス配管マイグレーションの高精度かつ高精度なモデリングが必要である。 我々は,高分解能な3D CO2ストレージモデリングのための機械学習フレームワークであるNested Fourier Neural Operator (FNO)を,盆地スケールで導入した。
  論文  参考訳（メタデータ） (2022-10-31T04:04:03Z)
• Conditioned Human Trajectory Prediction using Iterative Attention Blocks [70.36888514074022]
  本研究では,都市環境における歩行者位置予測を目的とした,簡易かつ効果的な歩行者軌道予測モデルを提案する。 我々のモデルは、複数のアテンションブロックとトランスフォーマーを反復的に実行できるニューラルネットワークアーキテクチャである。 ソーシャルマスク, 動的モデル, ソーシャルプーリング層, 複雑なグラフのような構造を明示的に導入することなく, SoTAモデルと同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T07:49:48Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• Forecasting emissions through Kaya identity using Neural Ordinary Differential Equations [3.4901787251083163]
  我々は、国家レベルでの炭素排出量に関連するいくつかの指標の進化を予測するために、Neural ODEモデルを用いている。 この機械学習アプローチは、幅広い結果を生み出し、政策立案者に関連性のある洞察を与えるために使用できると結論付けている。
  論文  参考訳（メタデータ） (2022-01-07T12:34:01Z)
• Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation [0.0]
  本研究では, 炭素効率について検討し, トレーニングモデルによる環境影響の低減のための代替策を提案する。 本研究では,機械翻訳モデルの性能を複数の言語対で評価する。 これらのモデルの様々なコンポーネントを調べ、これらの二酸化炭素排出量を減らすために最適化できるパイプラインの側面を分析します。
  論文  参考訳（メタデータ） (2021-09-26T12:30:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。