論文の概要: Optimal Task Assignment to Heterogeneous Federated Learning Devices
- arxiv url: http://arxiv.org/abs/2010.00239v1
- Date: Thu, 1 Oct 2020 07:58:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 08:47:41.191756
- Title: Optimal Task Assignment to Heterogeneous Federated Learning Devices
- Title（参考訳）: 不均質なフェデレーション学習装置への最適タスク割り当て
- Authors: La\'ercio Lima Pilla (ParSys - LRI)
- Abstract要約: 本研究では,各デバイスがトレーニングに使用するデータ量を制御することにより,フェデレート学習ラウンドの期間を最小化する問題について検討する。
OLARというメイクタイムアルゴリズムを提案し、最適なスケジュールを提供することを示す。
この結果から,OLARは少ない実行時間で最適解を提供することがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning provides new opportunities for training machine learning
models while respecting data privacy. This technique is based on heterogeneous
devices that work together to iteratively train a model while never sharing
their own data. Given the synchronous nature of this training, the performance
of Federated Learning systems is dictated by the slowest devices, also known as
stragglers. In this paper, we investigate the problem of minimizing the
duration of Federated Learning rounds by controlling how much data each device
uses for training. We formulate this problem as a makespan minimization problem
with identical, independent, and atomic tasks that have to be assigned to
heterogeneous resources with non-decreasing cost functions while respecting
lower and upper limits of tasks per resource. Based on this formulation, we
propose a polynomial-time algorithm named OLAR and prove that it provides
optimal schedules. We evaluate OLAR in an extensive experimental evaluation
using simulation that includes comparisons to other algorithms from the state
of the art and new extensions to them. Our results indicate that OLAR provides
optimal solutions with a small execution time. They also show that the presence
of lower and upper limits of tasks per resource erase any benefits that
suboptimal heuristics could provide in terms of algorithm execution time.
- Abstract（参考訳）: フェデレーション学習は、データのプライバシを尊重しながら機械学習モデルをトレーニングする新しい機会を提供する。
このテクニックは、モデルを反復的にトレーニングすると同時に、自身のデータを決して共有しない異種デバイスに基づいている。
このトレーニングの同期性を考えると、フェデレーション学習システムの性能は、ストラグラーとして知られる最も遅いデバイスによって決定される。
本稿では,各デバイスがトレーニングに使用するデータ量を制御することにより,フェデレート学習ラウンドの期間を最小化する問題について検討する。
この問題を,リソース毎のタスクの上限を尊重しつつ,コスト関数の低下を伴わない異種資源に割り当てる必要のある,同一で独立,かつアトミックなタスクのメイズパン最小化問題として定式化する。
この定式化に基づいて,OLARという多項式時間アルゴリズムを提案し,最適スケジュールを提供することを示す。
我々は,他のアルゴリズムとの比較や新たな拡張を含むシミュレーションを用いて,OLARを広範囲な実験的評価で評価する。
この結果から,OLARは少ない実行時間で最適解を提供することがわかった。
彼らはまた、リソース当たりのタスクの下限と上限の存在は、アルゴリズムの実行時間の観点から、準最適ヒューリスティックが提供できる利点を消し去ることも示している。
関連論文リスト
- A Human-Centered Approach for Improving Supervised Learning [0.44378250612683995]
本稿では、パフォーマンス、時間、リソースの制約のバランスをとる方法を示す。
この研究のもう1つの目標は、人間中心のアプローチを用いて、エンサンブルスをより説明しやすく、理解しやすくすることである。
論文 参考訳（メタデータ） (2024-10-14T10:27:14Z) - Semi-Supervised One-Shot Imitation Learning [83.94646047695412]
ワンショットのImitation Learningは、AIエージェントに1つのデモから新しいタスクを学ぶ能力を持たせることを目的としている。
我々は,学習エージェントにトラジェクトリの大規模なデータセットを提示する,半教師付きOSIL問題設定を導入する。
我々は,この半教師付きOSIL設定に適用可能なアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-08-09T18:11:26Z) - Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。
提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
論文 参考訳（メタデータ） (2024-05-07T17:44:54Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Communication-Efficient Device Scheduling for Federated Learning Using
Stochastic Optimization [26.559267845906746]
Time Learning(FL)は、ユーザのローカルデータセットをプライバシ保存形式で利用する分散機械学習において有用なツールである。
本稿では,非効率収束境界アルゴリズムを提案する。
また、電力制約下での収束境界と平均通信の関数を最小化する新しい選択および電力割当アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-01-19T23:25:24Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-31T23:46:32Z) - Learning Centric Wireless Resource Allocation for Edge Computing:
Algorithm and Experiment [15.577056429740951]
Edge Intelligenceは、センサー、通信、コンピューティングコンポーネントを統合し、さまざまな機械学習アプリケーションをサポートする、新興ネットワークアーキテクチャである。
既存の方法は2つの重要な事実を無視している: 1) 異なるモデルがトレーニングデータに不均一な要求を持っている; 2) シミュレーション環境と実環境との間にはミスマッチがある。
本稿では,複数のタスクの最悪の学習性能を最大化する学習中心の無線リソース割り当て方式を提案する。
論文 参考訳（メタデータ） (2020-10-29T06:20:40Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z) - Improving a State-of-the-Art Heuristic for the Minimum Latency Problem
with Data Mining [69.00394670035747]
ハイブリッドメタヒューリスティックスは、オペレーション研究のトレンドとなっている。
成功例は、Greedy Randomized Adaptive Search Procedures (GRASP)とデータマイニング技術を組み合わせたものだ。
論文 参考訳（メタデータ） (2019-08-28T13:12:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。