論文の概要: FedGreen: Carbon-aware Federated Learning with Model Size Adaptation

• arxiv url: http://arxiv.org/abs/2404.15503v1
• Date: Tue, 23 Apr 2024 20:37:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-25 15:13:10.056834
• Title: FedGreen: Carbon-aware Federated Learning with Model Size Adaptation
• Title（参考訳）: FedGreen: モデルサイズ適応によるカーボンアウェアなフェデレーションラーニング
• Authors: Ali Abbasi, Fan Dong, Xin Wang, Henry Leung, Jiayu Zhou, Steve Drew,
• Abstract要約: フェデレートラーニング(FL)は、分散クライアントからモデルを構築するための有望な協調フレームワークを提供する。 FLクライアントをホストするクラウドとエッジサーバは、さまざまな電力源を持つ地理的な場所の影響を受け、多様な炭素フットプリントを示す可能性がある。 我々は、クライアントと共有する適応型モデルサイズを採用することにより、モデルを効率的に訓練するための、炭素を意識したFLアプローチであるFedGreenを提案する。
• 参考スコア（独自算出の注目度）: 36.283273000969636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) provides a promising collaborative framework to build a model from distributed clients, and this work investigates the carbon emission of the FL process. Cloud and edge servers hosting FL clients may exhibit diverse carbon footprints influenced by their geographical locations with varying power sources, offering opportunities to reduce carbon emissions by training local models with adaptive computations and communications. In this paper, we propose FedGreen, a carbon-aware FL approach to efficiently train models by adopting adaptive model sizes shared with clients based on their carbon profiles and locations using ordered dropout as a model compression technique. We theoretically analyze the trade-offs between the produced carbon emissions and the convergence accuracy, considering the carbon intensity discrepancy across countries to choose the parameters optimally. Empirical studies show that FedGreen can substantially reduce the carbon footprints of FL compared to the state-of-the-art while maintaining competitive model accuracy.
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散クライアントからモデルを構築するための有望な協調フレームワークを提供する。 FLクライアントをホストするクラウドおよびエッジサーバは、様々な電力源を持つ地理的な場所の影響を受け、適応的な計算と通信でローカルモデルを訓練することで、二酸化炭素排出量を減らす機会を提供する。 本稿では, モデル圧縮手法としてオーダードロップアウトを用いた炭素プロファイルと位置に基づいて, クライアントと共有する適応型モデルサイズを採用することで, モデルを効率的に訓練する, カーボン対応FLアプローチであるFedGreenを提案する。 生成した炭素排出量と収束精度のトレードオフを理論的に分析し, パラメータを最適に選択する国間での炭素強度の差を考慮した。 実証実験により、FedGreenは競争モデルの精度を維持しながら、FLのカーボンフットプリントを大幅に削減できることが示された。

関連論文リスト

• CarbonSense: A Multimodal Dataset and Baseline for Carbon Flux Modelling [9.05128569357374]
  データ駆動型カーボンフラックスモデリングのための、最初の機械学習対応データセットであるCarbonSenseを紹介する。 我々の実験は、マルチモーダルなディープラーニング技術がこの領域にもたらす可能性を示している。
  論文  参考訳（メタデータ） (2024-06-07T13:47:40Z)
• OpenCarbonEval: A Unified Carbon Emission Estimation Framework in Large-Scale AI Models [16.93272879722972]
  OpenCarbonEvalは、二酸化炭素排出量を予測するために様々なモードで大規模なモデルを統合するためのフレームワークである。 視覚モデルと言語モデルの両方において,OpenCarbonEvalは,二酸化炭素排出量の予測性能に優れることを示す。
  論文  参考訳（メタデータ） (2024-05-21T14:50:20Z)
• Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
  ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている 本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。 本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
  論文  参考訳（メタデータ） (2024-04-28T05:46:28Z)
• CAFE: Carbon-Aware Federated Learning in Geographically Distributed Data Centers [18.54380015603228]
  大規模人工知能(AI)モデルの訓練には、計算能力とエネルギーが要求されるため、炭素フットプリントが増加し、環境に悪影響を及ぼす可能性がある。 本稿は、地理的に分散した(地理的に分散した)データセンターでAIモデルをトレーニングする際の課題を考察し、学習性能と炭素フットプリントのバランスを強調する。 固定炭素フットプリント予算内でのトレーニングを最適化するために,CAFE(Carbon-Aware Federated Learning)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-06T23:59:22Z)
• Towards Green AI in Fine-tuning Large Language Models via Adaptive Backpropagation [58.550710456745726]
  ファインチューニングは、トレーニング済みの大規模言語モデル(LLM)を下流アプリケーションに適用する最も効果的な方法である。 既存の高速微調整技術は, FLOPの低減に限界がある。 本稿では,異なるテンソルのバックプロパゲーションコストを適応的に評価する新しい手法であるGreenTrainerについて述べる。
  論文  参考訳（メタデータ） (2023-09-22T21:55:18Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Green Federated Learning [7.003870178055125]
  Federated Learning(FL)は、分散エンティティのデータを使用して集中型モデルをトレーニングする機械学習技術である。 FLは、多様なエネルギー源を持つ数億ものグローバル分散エンドユーザーデバイスを活用することができる。 提案するグリーンFLの概念は, FLパラメータを最適化し, 二酸化炭素排出量を最小化するための設計選択を行うものである。
  論文  参考訳（メタデータ） (2023-03-26T02:23:38Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation [0.0]
  本研究では, 炭素効率について検討し, トレーニングモデルによる環境影響の低減のための代替策を提案する。 本研究では,機械翻訳モデルの性能を複数の言語対で評価する。 これらのモデルの様々なコンポーネントを調べ、これらの二酸化炭素排出量を減らすために最適化できるパイプラインの側面を分析します。
  論文  参考訳（メタデータ） (2021-09-26T12:30:10Z)
• A Framework for Energy and Carbon Footprint Analysis of Distributed and Federated Edge Learning [48.63610479916003]
  本稿では,分散学習政策の環境フットプリントに影響を与える要因を概説し,分析する。 バニラとコンセンサスによって駆動される分散FLポリシーの両方をモデル化する。 その結果、flは低ビット/ジュール効率を特徴とするワイヤレスシステムにおいて、顕著なエンドツーエンドの省エネ(30%-40%)が可能となった。
  論文  参考訳（メタデータ） (2021-03-18T16:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。