Fugu-MT 論文翻訳(概要): A Novel Neural Network-Based Federated Learning System for Imbalanced and Non-IID Data

論文の概要: A Novel Neural Network-Based Federated Learning System for Imbalanced and Non-IID Data

arxiv url: http://arxiv.org/abs/2311.10025v1
Date: Thu, 16 Nov 2023 17:14:07 GMT
ステータス: 処理完了
システム内更新日: 2023-11-17 13:27:45.988762
Title: A Novel Neural Network-Based Federated Learning System for Imbalanced and Non-IID Data
Title（参考訳）: 不均衡データおよび非iidデータのための新しいニューラルネットワークベースフェデレート学習システム
Authors: Mahfuzur Rahman Chowdhury and Muhammad Ibrahim
Abstract要約: ほとんどの機械学習アルゴリズムは、様々なソースから収集される大量のデータに大きく依存している。この問題に対処するため、研究者らはフェデレーション学習を導入し、クライアントデータのプライバシーを確保することによって予測モデルを学習した。本研究では,ニューラルネットワークに基づくフェデレーション学習システムを提案する。
参考スコア（独自算出の注目度）: 2.9642661320713555
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: With the growth of machine learning techniques, privacy of data of users has become a major concern. Most of the machine learning algorithms rely heavily on large amount of data which may be collected from various sources. Collecting these data yet maintaining privacy policies has become one of the most challenging tasks for the researchers. To combat this issue, researchers have introduced federated learning, where a prediction model is learnt by ensuring the privacy of data of clients data. However, the prevalent federated learning algorithms possess an accuracy and efficiency trade-off, especially for non-IID data. In this research, we propose a centralized, neural network-based federated learning system. The centralized algorithm incorporates micro-level parallel processing inspired by the traditional mini-batch algorithm where the client devices and the server handle the forward and backward propagation respectively. We also devise a semi-centralized version of our proposed algorithm. This algorithm takes advantage of edge computing for minimizing the load from the central server, where clients handle both the forward and backward propagation while sacrificing the overall train time to some extent. We evaluate our proposed systems on five well-known benchmark datasets and achieve satisfactory performance in a reasonable time across various data distribution settings as compared to some existing benchmark algorithms.
Abstract（参考訳）: 機械学習技術の成長に伴い、ユーザーのデータのプライバシーが大きな関心事となっている。機械学習アルゴリズムの大部分は、さまざまなソースから収集可能な大量のデータに大きく依存している。プライバシーポリシーを守らずにこれらのデータを収集することは、研究者にとって最も難しい課題の1つだ。この問題に対処するため、研究者らはフェデレーション学習を導入し、クライアントデータのプライバシーを確保することによって予測モデルを学習した。しかし、一般的なフェデレーション学習アルゴリズムは、特に非IIDデータに対して精度と効率のトレードオフを持っている。本研究では,集中型ニューラルネットワークを用いた連合学習システムを提案する。集中型アルゴリズムは、クライアントデバイスとサーバがそれぞれ前方および後方の伝播を処理する従来のミニバッチアルゴリズムに触発されたマイクロレベルの並列処理を取り入れている。また,提案アルゴリズムの半集中型バージョンを考案した。このアルゴリズムはエッジコンピューティングを利用して中央サーバからの負荷を最小化し、クライアントが前方と後方の両方を処理し、列車全体の時間をある程度犠牲にする。提案手法を5つのベンチマークデータセット上で評価し,既存のベンチマークアルゴリズムと比較して,様々なデータ分散設定において妥当な時間内に満足できる性能を実現する。

関連論文リスト

FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Network Anomaly Detection Using Federated Learning [0.483420384410068]
我々は、効率的なネットワーク異常検出を可能にする堅牢でスケーラブルなフレームワークを導入する。複数の参加者が共同でグローバルモデルをトレーニングするフェデレーション学習を活用します。提案手法はUNSW-NB15データセットのベースライン機械学習手法よりも優れている。
論文参考訳（メタデータ） (2023-03-13T20:16:30Z)
Federated Gradient Matching Pursuit [17.695717854068715]
従来の機械学習技術では、1つのサーバまたはデータハブ上のすべてのトレーニングデータを集中化する必要がある。特に、FL(Federated Learning)は、ローカルクライアントでトレーニングデータを保持しながら、共有モデルを学習するためのソリューションを提供する。本稿では,FL設定における分散制約最小化問題を解くために,新しいアルゴリズムフレームワークFedGradMPを提案する。
論文参考訳（メタデータ） (2023-02-20T16:26:29Z)
Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
論文参考訳（メタデータ） (2022-02-07T15:04:15Z)
Privacy-Preserving Serverless Edge Learning with Decentralized Small Data [13.254530176359182]
最近、分散トレーニング戦略は、ディープモデルをトレーニングする際のデータプライバシを保証するための有望なアプローチになっている。本稿では、従来のサーバレスプラットフォームをサーバレスエッジ学習アーキテクチャで拡張し、ネットワークの観点から効率的な分散トレーニングフレームワークを提供する。
論文参考訳（メタデータ） (2021-11-29T21:04:49Z)
An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文参考訳（メタデータ） (2021-11-19T12:58:59Z)
DQRE-SCnet: A novel hybrid approach for selecting users in Federated Learning with Deep-Q-Reinforcement Learning based on Spectral Clustering [1.174402845822043]
実世界の機密データに基づく機械学習モデルは、医療スクリーニングから病気の発生、農業、産業、防衛科学など幅広い分野で進歩している。多くのアプリケーションにおいて、学習参加者のコミュニケーションラウンドは、独自のプライベートデータセットを収集し、実際のデータに対して詳細な機械学習モデルを教え、これらのモデルを使用することの利点を共有することの恩恵を受ける。既存のプライバシとセキュリティ上の懸念から、ほとんどの人はトレーニング用の機密データ共有を回避している。各ユーザがローカルデータを中央サーバにデモしない限り、フェデレートラーニングは、さまざまなパーティが共用データ上で機械学習アルゴリズムをトレーニングすることを可能にする。
論文参考訳（メタデータ） (2021-11-07T15:14:29Z)
A Federated Learning Aggregation Algorithm for Pervasive Computing: Evaluation and Comparison [0.6299766708197883]
広範コンピューティングは、サービス提供のために、リビングスペースに接続デバイスをインストールすることを促進する。エッジリソースの高度な利用と、エンジニアリングアプリケーションのための機械学習技術の統合だ。本稿では,FedDistと呼ばれる新しいアグリゲーションアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-10-19T19:43:28Z)
Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2021-02-09T11:27:14Z)
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2020-12-28T19:21:14Z)
A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
論文参考訳（メタデータ） (2020-09-29T13:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。