論文の概要: Distributed Learning on Heterogeneous Resource-Constrained Devices

• arxiv url: http://arxiv.org/abs/2006.05403v1
• Date: Tue, 9 Jun 2020 16:58:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 14:11:37.890693
• Title: Distributed Learning on Heterogeneous Resource-Constrained Devices
• Title（参考訳）: 異種資源制約デバイスによる分散学習
• Authors: Martin Rapp, Ramin Khalili, J\"org Henkel
• Abstract要約: 我々は、ローエンドからハイエンドまで多種多様なデバイスからなる分散システムを考える。 このような異種システムにおける分散学習を実現するための最初のアプローチを提案する。 このアプローチを適用すると、各デバイスは、その能力に適合するトポロジを備えたニューラルネットワーク(NN)を使用するが、これらのNNの一部は、同じトポロジを共有して、それらのパラメータを共同で学習することができる。
• 参考スコア（独自算出の注目度）: 3.6187468775839373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a distributed system, consisting of a heterogeneous set of devices, ranging from low-end to high-end. These devices have different profiles, e.g., different energy budgets, or different hardware specifications, determining their capabilities on performing certain learning tasks. We propose the first approach that enables distributed learning in such a heterogeneous system. Applying our approach, each device employs a neural network (NN) with a topology that fits its capabilities; however, part of these NNs share the same topology, so that their parameters can be jointly learned. This differs from current approaches, such as federated learning, which require all devices to employ the same NN, enforcing a trade-off between achievable accuracy and computational overhead of training. We evaluate heterogeneous distributed learning for reinforcement learning (RL) and observe that it greatly improves the achievable reward on more powerful devices, compared to current approaches, while still maintaining a high reward on the weaker devices. We also explore supervised learning, observing similar gains.
• Abstract（参考訳）: 我々は,ローエンドからハイエンドまでの異種デバイスからなる分散システムを考える。 これらのデバイスは、異なるエネルギー予算や異なるハードウェア仕様など、異なるプロファイルを持ち、特定の学習タスクを実行する能力を決定する。 このような異種システムにおける分散学習を可能にする最初の手法を提案する。 このアプローチを適用すると、各デバイスはニューラルネットワーク(nn)をその能力に適合するトポロジーで採用するが、これらのnnの一部は同じトポロジーを共有し、それらのパラメータを共同学習することができる。 これは、すべてのデバイスに同じNNを使用するように要求するフェデレーション学習のような現在のアプローチと異なり、達成可能な精度とトレーニングの計算オーバーヘッドの間のトレードオフを強制する。 強化学習(rl)のための異種分散学習を評価し,現在の手法と比較して,より強力なデバイスで実現可能な報酬を大幅に向上させながら,弱いデバイスで高い報酬を維持していることを観察する。 教師付き学習も検討し、同様の成果を観察する。

関連論文リスト

• Federated Learning for Computationally-Constrained Heterogeneous Devices: A Survey [3.219812767529503]
  フェデレートラーニング(FL)は、通信オーバーヘッドとモデルの正確性の間のトレードオフをプライバシ保護する。 現実のアプリケーションに広く適用するためにFLが克服しなければならない課題について概説する。
  論文  参考訳（メタデータ） (2023-07-18T12:05:36Z)
• Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
  Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。 トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。 本稿では,フェデレートラーニングのための並列適応器を提案する。
  論文  参考訳（メタデータ） (2023-02-06T17:30:33Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• DISTREAL: Distributed Resource-Aware Learning in Heterogeneous Systems [2.1506382989223782]
  計算資源の不均一性,制限,時間変化のあるデバイス上でのニューラルネットワーク(NN)の分散トレーニングの問題について検討する。 本稿では,適応型,リソース対応,オンデバイス学習機構であるDISTREALを提案する。
  論文  参考訳（メタデータ） (2021-12-16T10:15:31Z)
• Distributed Learning for Time-varying Networks: A Scalable Design [13.657740129012804]
  本稿では,スケーラブルなディープニューラルネットワーク(DNN)設計に基づく分散学習フレームワークを提案する。 学習タスクの置換等価性と不変性を利用することで、異なるスケールのクライアントに対して異なるスケールのDNNを構築することができる。 モデルアグリゲーションはこれらの2つのサブマトリクスに基づいて行うことができ、学習の収束と性能を改善することができる。
  論文  参考訳（メタデータ） (2021-07-31T12:44:28Z)
• Device Sampling for Heterogeneous Federated Learning: Theory, Algorithms, and Implementation [24.084053136210027]
  グラフシーケンシャル畳み込みネットワーク(GCN)に基づくサンプリング手法を開発した。 提案手法は,全機器の5%以下をサンプリングしながら,訓練されたモデル精度と必要なリソース利用の両面で,fedl(federated learning)を実質的に上回っている。
  論文  参考訳（メタデータ） (2021-01-04T05:59:50Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)
• Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems [71.14339738190202]
  民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。 本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。 提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-07-07T08:34:48Z)
• From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks [71.23327876898816]
  フェデレートラーニング(Federated Learning)は、データを収集するノード間で処理能力を活用することによって、ネットワークエッジでMLモデルをトレーニングするテクニックとして登場した。 我々は、エッジデバイスからクラウドサーバへのノード連続体にMLモデルのトレーニングをインテリジェントに分散する、フォグラーニングと呼ばれる新しい学習パラダイムを提唱する。
  論文  参考訳（メタデータ） (2020-06-07T05:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。