論文の概要: RPN: A Residual Pooling Network for Efficient Federated Learning
- arxiv url: http://arxiv.org/abs/2001.08600v2
- Date: Tue, 7 Apr 2020 00:15:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-07 12:39:36.587294
- Title: RPN: A Residual Pooling Network for Efficient Federated Learning
- Title（参考訳）: RPN: 効果的なフェデレーション学習のための残留プールネットワーク
- Authors: Anbu Huang, Yuanyuan Chen, Yang Liu, Tianjian Chen, and Qiang Yang
- Abstract要約: 我々はResidual Pooling Network(RPN)と呼ばれる新しい圧縮戦略を提案する。
RPNはデータ転送を効果的に削減するが、標準のフェデレート学習と比べてほぼ同じ性能を達成する。
我々の新しいアプローチはエンドツーエンドのプロシージャとして機能し、CNNベースのモデルトレーニングシナリオにも容易に適用できるはずです。
- 参考スコア（独自算出の注目度）: 20.363206529396948
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a distributed machine learning framework which enables
different parties to collaboratively train a model while protecting data
privacy and security. Due to model complexity, network unreliability and
connection in-stability, communication cost has became a major bottleneck for
applying federated learning to real-world applications. Current existing
strategies are either need to manual setting for hyperparameters, or break up
the original process into multiple steps, which make it hard to realize
end-to-end implementation. In this paper, we propose a novel compression
strategy called Residual Pooling Network (RPN). Our experiments show that RPN
not only reduce data transmission effectively, but also achieve almost the same
performance as compared to standard federated learning. Our new approach
performs as an end-to-end procedure, which should be readily applied to all
CNN-based model training scenarios for improvement of communication efficiency,
and hence make it easy to deploy in real-world application without much human
intervention.
- Abstract（参考訳）: フェデレーション学習(federated learning)は、データのプライバシとセキュリティを保護しながら、さまざまなパーティが協力してモデルをトレーニング可能な、分散機械学習フレームワークである。
モデルの複雑さ、ネットワークの信頼性、接続の安定性のため、通信コストは現実世界のアプリケーションにフェデレーション学習を適用する上で大きなボトルネックとなっている。
現在の既存の戦略では、ハイパーパラメータの手動設定が必要か、あるいは元のプロセスを複数のステップに分割する必要があるため、エンドツーエンドの実装を実現するのが難しくなっている。
本稿では,Residual Pooling Network (RPN) と呼ばれる新しい圧縮戦略を提案する。
実験の結果,RPNはデータ伝達を効果的に低減するだけでなく,従来のフェデレート学習とほぼ同等の性能を発揮することがわかった。
我々の新しいアプローチはエンド・ツー・エンドの手順として機能し、通信効率を向上させるためにCNNベースのモデルトレーニングシナリオすべてに容易に適用できるので、人間の介入を伴わずに現実世界のアプリケーションに簡単にデプロイできる。
関連論文リスト
- Enhancing Spectrum Efficiency in 6G Satellite Networks: A GAIL-Powered Policy Learning via Asynchronous Federated Inverse Reinforcement Learning [67.95280175998792]
ビームフォーミング,スペクトルアロケーション,リモートユーザ機器(RUE)アソシエイトを最適化するために,GAILを利用した新しいポリシー学習手法を提案する。
手動チューニングなしで報酬関数を自動的に学習するために、逆RL(IRL)を用いる。
提案手法は従来のRL手法よりも優れており,コンバージェンスと報酬値の14.6%の改善が達成されている。
論文 参考訳（メタデータ） (2024-09-27T13:05:02Z) - Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。
我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文 参考訳（メタデータ） (2024-04-04T06:24:11Z) - Toward efficient resource utilization at edge nodes in federated learning [0.6990493129893112]
フェデレートされた学習により、エッジノードは、データを共有することなく、グローバルモデルの構築に協力的に貢献することができる。
計算リソースの制約とネットワーク通信は、ディープラーニングアプリケーションに典型的なより大きなモデルサイズにとって、深刻なボトルネックになる可能性がある。
デバイス上での資源利用を減らすため,転送学習にインスパイアされたFL戦略を提案し,評価する。
論文 参考訳（メタデータ） (2023-09-19T07:04:50Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Fast Context Adaptation in Cost-Aware Continual Learning [10.515324071327903]
5GとBeyondネットワークは、より複雑な学習エージェントを必要とし、学習プロセス自体が、コミュニケーションや計算リソースのためにユーザと競合することになるかもしれない。
一方、学習プロセスは、効率的な戦略に迅速に収束するためのリソースを必要とし、一方、学習プロセスは、ユーザのデータプレーンから可能な限り少ないリソースを取らずに、ユーザのリソースを損なわないように、効率的でなければならない。
本稿では,データプレーンに割り当てられたリソースと学習用に確保されたリソースのバランスをとるための動的戦略を提案する。
論文 参考訳（メタデータ） (2023-06-06T17:46:48Z) - When Computing Power Network Meets Distributed Machine Learning: An
Efficient Federated Split Learning Framework [6.871107511111629]
CPN-FedSLはComputer Power Network (CPN)上のFederated Split Learning (FedSL)フレームワークである。
私たちは、基本的な設定と学習特性(例えば、レイテンシ、フロー、収束)をキャプチャする専用のモデルを構築します。
論文 参考訳（メタデータ） (2023-05-22T12:36:52Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Comfetch: Federated Learning of Large Networks on Constrained Clients
via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。
我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文 参考訳（メタデータ） (2021-09-17T04:48:42Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳（メタデータ） (2020-12-15T12:20:28Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。