論文の概要: Green Federated Learning

• arxiv url: http://arxiv.org/abs/2303.14604v2
• Date: Tue, 1 Aug 2023 23:48:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-03 17:41:58.468112
• Title: Green Federated Learning
• Title（参考訳）: 緑の連合学習
• Authors: Ashkan Yousefpour, Shen Guo, Ashish Shenoy, Sayan Ghosh, Pierre Stock, Kiwan Maeng, Schalk-Willem Kr\"uger, Michael Rabbat, Carole-Jean Wu, Ilya Mironov
• Abstract要約: Federated Learning(FL)は、分散エンティティのデータを使用して集中型モデルをトレーニングする機械学習技術である。 FLは、多様なエネルギー源を持つ数億ものグローバル分散エンドユーザーデバイスを活用することができる。 提案するグリーンFLの概念は, FLパラメータを最適化し, 二酸化炭素排出量を最小化するための設計選択を行うものである。
• 参考スコア（独自算出の注目度）: 7.003870178055125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid progress of AI is fueled by increasingly large and computationally intensive machine learning models and datasets. As a consequence, the amount of compute used in training state-of-the-art models is exponentially increasing (doubling every 10 months between 2015 and 2022), resulting in a large carbon footprint. Federated Learning (FL) - a collaborative machine learning technique for training a centralized model using data of decentralized entities - can also be resource-intensive and have a significant carbon footprint, particularly when deployed at scale. Unlike centralized AI that can reliably tap into renewables at strategically placed data centers, cross-device FL may leverage as many as hundreds of millions of globally distributed end-user devices with diverse energy sources. Green AI is a novel and important research area where carbon footprint is regarded as an evaluation criterion for AI, alongside accuracy, convergence speed, and other metrics. In this paper, we propose the concept of Green FL, which involves optimizing FL parameters and making design choices to minimize carbon emissions consistent with competitive performance and training time. The contributions of this work are two-fold. First, we adopt a data-driven approach to quantify the carbon emissions of FL by directly measuring real-world at-scale FL tasks running on millions of phones. Second, we present challenges, guidelines, and lessons learned from studying the trade-off between energy efficiency, performance, and time-to-train in a production FL system. Our findings offer valuable insights into how FL can reduce its carbon footprint, and they provide a foundation for future research in the area of Green AI.
• Abstract（参考訳）: AIの急速な進歩は、ますます大規模で計算集約的な機械学習モデルとデータセットによって支えられている。 その結果、最先端モデルのトレーニングに使用される計算量は指数関数的に増加し(2015年から2022年までの10ヶ月毎に倍増)、結果として炭素フットプリントが大きくなった。 Federated Learning (FL) - 分散エンティティのデータを使用して集中モデルをトレーニングするための協調機械学習技術である。 戦略的に配置されたデータセンターで再生可能エネルギーを確実に活用できる中央集権型AIとは異なり、クロスデバイスFLは、多様なエネルギー源を持つ数億のグローバル分散エンドユーザーデバイスを活用することができる。 グリーンAIは、精度、収束速度、その他の指標とともに、炭素フットプリントがAIの評価基準と見なされる、新しくて重要な研究領域である。 本稿では, FLパラメータの最適化と, 競争性能とトレーニング時間に整合した二酸化炭素排出量を最小化するための設計選択を含むグリーンFLの概念を提案する。 この作品の貢献は2つある。 まず,何百万台もの携帯電話上で動作している実世界のFLタスクを直接測定することで,FLの二酸化炭素排出量を定量化するためのデータ駆動型アプローチを採用する。 第2に,生産型FLシステムにおけるエネルギー効率,性能,時間-トレーニングのトレードオフに関する研究から学んだ課題,ガイドライン,教訓を提示する。 我々の発見は、FLがカーボンフットプリントを減らす方法に関する貴重な洞察を与え、Green AIの領域における将来の研究の基盤を提供する。

関連論文リスト

• CAFE: Carbon-Aware Federated Learning in Geographically Distributed Data Centers [18.54380015603228]
  大規模人工知能(AI)モデルの訓練には、計算能力とエネルギーが要求されるため、炭素フットプリントが増加し、環境に悪影響を及ぼす可能性がある。 本稿は、地理的に分散した(地理的に分散した)データセンターでAIモデルをトレーニングする際の課題を考察し、学習性能と炭素フットプリントのバランスを強調する。 固定炭素フットプリント予算内でのトレーニングを最適化するために,CAFE(Carbon-Aware Federated Learning)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-06T23:59:22Z)
• Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
  ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。 実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-10-21T12:07:04Z)
• A Carbon Tracking Model for Federated Learning: Impact of Quantization and Sparsification [5.341266334051207]
  フェデレートラーニング(FL)手法は効率的なコミュニケーション技術を採用し、エッジデバイスに機械学習タスクを分散させる。 本稿では,FLシステムのエネルギーおよび炭素フットプリントへの影響をリアルタイムにモニタリングするためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-12T07:20:03Z)
• Efficiency Pentathlon: A Standardized Arena for Efficiency Evaluation [82.85015548989223]
  Pentathlonは、モデル効率の総合的で現実的な評価のためのベンチマークである。 Pentathlonは、モデルライフサイクルにおける計算の大部分を占める推論に焦点を当てている。 レイテンシ、スループット、メモリオーバーヘッド、エネルギー消費など、さまざまな効率面をターゲットにしたメトリクスが組み込まれている。
  論文  参考訳（メタデータ） (2023-07-19T01:05:33Z)
• A Comparative Study of Machine Learning Algorithms for Anomaly Detection in Industrial Environments: Performance and Environmental Impact [62.997667081978825]
  本研究は,環境の持続可能性を考慮した高性能機械学習モデルの要求に応えることを目的としている。 Decision TreesやRandom Forestsといった従来の機械学習アルゴリズムは、堅牢な効率性とパフォーマンスを示している。 しかし, 資源消費の累積増加にもかかわらず, 最適化された構成で優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-07-01T15:18:00Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• An Energy and Carbon Footprint Analysis of Distributed and Federated Learning [42.37180749113699]
  古典的で中央集権的な人工知能(AI)手法では、生産者(センサー、マシン)からエネルギー空腹のデータセンターへデータを移動する必要がある。 このような高エネルギーコストを緩和する新たな代替手段は、デバイス間で学習タスクを効率的に分散またはフェデレートすることを提案している。 本稿では,分散学習におけるエネルギーおよび炭素フットプリントの分析のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-06-21T13:28:49Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• A Framework for Energy and Carbon Footprint Analysis of Distributed and Federated Edge Learning [48.63610479916003]
  本稿では,分散学習政策の環境フットプリントに影響を与える要因を概説し,分析する。 バニラとコンセンサスによって駆動される分散FLポリシーの両方をモデル化する。 その結果、flは低ビット/ジュール効率を特徴とするワイヤレスシステムにおいて、顕著なエンドツーエンドの省エネ(30%-40%)が可能となった。
  論文  参考訳（メタデータ） (2021-03-18T16:04:42Z)
• A first look into the carbon footprint of federated learning [19.733846321425975]
  本稿では,フェデレートラーニングにおける炭素フットプリントの体系的研究について述べる。 構成によっては、FLは集中型機械学習よりも最大2桁の炭素を放出することができる。
  論文  参考訳（メタデータ） (2021-02-15T16:08:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。