論文の概要: CEFL: Carbon-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2310.17972v1
• Date: Fri, 27 Oct 2023 08:37:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 14:18:37.781426
• Title: CEFL: Carbon-Efficient Federated Learning
• Title（参考訳）: cefl: 炭素効率のよい連合学習
• Authors: Talha Mehboob, Noman Bashir, Jesus Omana Iglesias, Michael Zink, David Irwin
• Abstract要約: Federated Learning (FL)は、データ転送オーバーヘッドを低減し、データのプライバシを保護するために、多くのエッジデバイスに機械学習(ML)トレーニングを分散する。 FLモデルトレーニングは数百万のデバイスにまたがる可能性があるため、リソース集約型であるため、これまでの作業では、時間と精度を最適化するリソース効率の改善に重点を置いてきた。 CEFLは、適応的なコスト対応クライアント選択ポリシーを用いて、FLモデルをトレーニングする際の任意のコストメトリックを最適化する。
• 参考スコア（独自算出の注目度）: 1.5295862137875016
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated Learning (FL) distributes machine learning (ML) training across many edge devices to reduce data transfer overhead and protect data privacy. Since FL model training may span millions of devices and is thus resource-intensive, prior work has focused on improving its resource efficiency to optimize time-to-accuracy. However, prior work generally treats all resources the same, while, in practice, they may incur widely different costs, which instead motivates optimizing cost-to-accuracy. To address the problem, we design CEFL, which uses adaptive cost-aware client selection policies to optimize an arbitrary cost metric when training FL models. Our policies extend and combine prior work on utility-based client selection and critical learning periods by making them cost-aware. We demonstrate CEFL by designing carbon-efficient FL, where energy's carbon-intensity is the cost, and show that it i) reduces carbon emissions by 93\% and reduces training time by 50% compared to random client selection and ii) reduces carbon emissions by 80%, while only increasing training time by 38%, compared to a state-of-the-art approach that optimizes training time.
• Abstract（参考訳）: Federated Learning (FL)は、データ転送オーバーヘッドを低減し、データのプライバシを保護するために、多くのエッジデバイスに機械学習(ML)トレーニングを分散する。 FLモデルトレーニングは数百万のデバイスにまたがる可能性があるため、リソース集約型であるため、これまでの作業では、時間と精度を最適化するリソース効率の改善に重点を置いてきた。 しかし、以前の作業は、一般的にすべてのリソースを同じ扱いをするが、実際には、それらは広く異なるコストを負う可能性がある。 この問題を解決するため,適応的なコスト対応クライアント選択ポリシーを用いたCEFLを設計し,FLモデルをトレーニングする際の任意のコストメトリックを最適化する。 当社のポリシーは,クライアント選択とクリティカルラーニング期間の事前業務を,コストを意識して拡張し,結合するものです。 エネルギーの炭素強度がコストである炭素効率FLを設計してCEFLを実証し、それを示す。 i)炭素排出量を93\%削減し、ランダムなクライアント選択やトレーニング時間を50%削減すること。 二 トレーニング時間を最適化する最先端のアプローチと比較して、トレーニング時間を三8%だけ増加させながら、二酸化炭素排出量を80%削減する。

関連論文リスト

• Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
  大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。 既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。 本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:49:44Z)
• Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
  各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。 このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-28T07:38:39Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A Multi-Agent Reinforcement Learning Approach [48.18355658448509]
  生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。 地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。 本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-17T02:12:30Z)
• Green Federated Learning [7.003870178055125]
  Federated Learning(FL)は、分散エンティティのデータを使用して集中型モデルをトレーニングする機械学習技術である。 FLは、多様なエネルギー源を持つ数億ものグローバル分散エンドユーザーデバイスを活用することができる。 提案するグリーンFLの概念は, FLパラメータを最適化し, 二酸化炭素排出量を最小化するための設計選択を行うものである。
  論文  参考訳（メタデータ） (2023-03-26T02:23:38Z)
• AnycostFL: Efficient On-Demand Federated Learning over Heterogeneous Edge Devices [20.52519915112099]
  我々はAny CostFLというコスト調整可能なFLフレームワークを提案し、多様なエッジデバイスがローカル更新を効率的に実行できるようにする。 実験結果から,我々の学習フレームワークは,適切なグローバルテスト精度を実現するために,トレーニング遅延とエネルギー消費の最大1.9倍の削減が可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-01-08T15:25:55Z)
• ZeroFL: Efficient On-Device Training for Federated Learning with Local Sparsity [15.908499928588297]
  フェデレートラーニング(FL)では、ノードは従来のサーバグレードのハードウェアよりも桁違いに制約を受ける。 我々は、デバイス上でのトレーニングを加速するために、高度にスパースな操作に依存するZeroFLを提案する。
  論文  参考訳（メタデータ） (2022-08-04T07:37:07Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• A Framework for Energy and Carbon Footprint Analysis of Distributed and Federated Edge Learning [48.63610479916003]
  本稿では,分散学習政策の環境フットプリントに影響を与える要因を概説し,分析する。 バニラとコンセンサスによって駆動される分散FLポリシーの両方をモデル化する。 その結果、flは低ビット/ジュール効率を特徴とするワイヤレスシステムにおいて、顕著なエンドツーエンドの省エネ(30%-40%)が可能となった。
  論文  参考訳（メタデータ） (2021-03-18T16:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。