論文の概要: Optimal Task Assignment to Heterogeneous Federated Learning Devices
- arxiv url: http://arxiv.org/abs/2010.00239v1
- Date: Thu, 1 Oct 2020 07:58:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 08:47:41.191756
- Title: Optimal Task Assignment to Heterogeneous Federated Learning Devices
- Title(参考訳): 不均質なフェデレーション学習装置への最適タスク割り当て
- Authors: La\'ercio Lima Pilla (ParSys - LRI)
- Abstract要約: 本研究では,各デバイスがトレーニングに使用するデータ量を制御することにより,フェデレート学習ラウンドの期間を最小化する問題について検討する。
OLARというメイクタイムアルゴリズムを提案し、最適なスケジュールを提供することを示す。
この結果から,OLARは少ない実行時間で最適解を提供することがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning provides new opportunities for training machine learning
models while respecting data privacy. This technique is based on heterogeneous
devices that work together to iteratively train a model while never sharing
their own data. Given the synchronous nature of this training, the performance
of Federated Learning systems is dictated by the slowest devices, also known as
stragglers. In this paper, we investigate the problem of minimizing the
duration of Federated Learning rounds by controlling how much data each device
uses for training. We formulate this problem as a makespan minimization problem
with identical, independent, and atomic tasks that have to be assigned to
heterogeneous resources with non-decreasing cost functions while respecting
lower and upper limits of tasks per resource. Based on this formulation, we
propose a polynomial-time algorithm named OLAR and prove that it provides
optimal schedules. We evaluate OLAR in an extensive experimental evaluation
using simulation that includes comparisons to other algorithms from the state
of the art and new extensions to them. Our results indicate that OLAR provides
optimal solutions with a small execution time. They also show that the presence
of lower and upper limits of tasks per resource erase any benefits that
suboptimal heuristics could provide in terms of algorithm execution time.
- Abstract(参考訳): フェデレーション学習は、データのプライバシを尊重しながら機械学習モデルをトレーニングする新しい機会を提供する。
このテクニックは、モデルを反復的にトレーニングすると同時に、自身のデータを決して共有しない異種デバイスに基づいている。
このトレーニングの同期性を考えると、フェデレーション学習システムの性能は、ストラグラーとして知られる最も遅いデバイスによって決定される。
本稿では,各デバイスがトレーニングに使用するデータ量を制御することにより,フェデレート学習ラウンドの期間を最小化する問題について検討する。
この問題を,リソース毎のタスクの上限を尊重しつつ,コスト関数の低下を伴わない異種資源に割り当てる必要のある,同一で独立,かつアトミックなタスクのメイズパン最小化問題として定式化する。
この定式化に基づいて,OLARという多項式時間アルゴリズムを提案し,最適スケジュールを提供することを示す。
我々は,他のアルゴリズムとの比較や新たな拡張を含むシミュレーションを用いて,OLARを広範囲な実験的評価で評価する。
この結果から,OLARは少ない実行時間で最適解を提供することがわかった。
彼らはまた、リソース当たりのタスクの下限と上限の存在は、アルゴリズムの実行時間の観点から、準最適ヒューリスティックが提供できる利点を消し去ることも示している。
関連論文リスト
- Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。
限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
論文 参考訳(メタデータ) (2023-05-02T07:41:16Z) - Communication-Efficient Device Scheduling for Federated Learning Using
Stochastic Optimization [26.559267845906746]
Time Learning(FL)は、ユーザのローカルデータセットをプライバシ保存形式で利用する分散機械学習において有用なツールである。
本稿では,非効率収束境界アルゴリズムを提案する。
また、電力制約下での収束境界と平均通信の関数を最小化する新しい選択および電力割当アルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-01-19T23:25:24Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z) - Learning Centric Wireless Resource Allocation for Edge Computing:
Algorithm and Experiment [15.577056429740951]
Edge Intelligenceは、センサー、通信、コンピューティングコンポーネントを統合し、さまざまな機械学習アプリケーションをサポートする、新興ネットワークアーキテクチャである。
既存の方法は2つの重要な事実を無視している: 1) 異なるモデルがトレーニングデータに不均一な要求を持っている; 2) シミュレーション環境と実環境との間にはミスマッチがある。
本稿では,複数のタスクの最悪の学習性能を最大化する学習中心の無線リソース割り当て方式を提案する。
論文 参考訳(メタデータ) (2020-10-29T06:20:40Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-26T14:37:51Z) - Combining Deep Learning and Optimization for Security-Constrained
Optimal Power Flow [94.24763814458686]
セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。
SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。
本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
論文 参考訳(メタデータ) (2020-07-14T12:38:21Z) - Towards Efficient Scheduling of Federated Mobile Devices under
Computational and Statistical Heterogeneity [16.069182241512266]
本稿では,モバイルデバイス上での分散学習の実装について検討する。
チューニングノブとしてデータを使用し、異なるワークロードをスケジュールする2つの効率的な時間アルゴリズムを提案する。
一般的なベンチマークと比較すると,提案アルゴリズムはCIFAR10で2-100倍の高速化,2-7%の精度向上,収束率を100%以上達成している。
論文 参考訳(メタデータ) (2020-05-25T18:21:51Z) - Improving a State-of-the-Art Heuristic for the Minimum Latency Problem
with Data Mining [69.00394670035747]
ハイブリッドメタヒューリスティックスは、オペレーション研究のトレンドとなっている。
成功例は、Greedy Randomized Adaptive Search Procedures (GRASP)とデータマイニング技術を組み合わせたものだ。
論文 参考訳(メタデータ) (2019-08-28T13:12:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。