論文の概要: DQRE-SCnet: A novel hybrid approach for selecting users in Federated
Learning with Deep-Q-Reinforcement Learning based on Spectral Clustering
- arxiv url: http://arxiv.org/abs/2111.04105v1
- Date: Sun, 7 Nov 2021 15:14:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-09 16:47:23.158523
- Title: DQRE-SCnet: A novel hybrid approach for selecting users in Federated
Learning with Deep-Q-Reinforcement Learning based on Spectral Clustering
- Title（参考訳）: DQRE-SCnet:スペクトルクラスタリングに基づく深部Q強化学習によるフェデレーションラーニングにおけるユーザ選択のための新しいハイブリッドアプローチ
- Authors: Mohsen Ahmadi, Ali Taghavirashidizadeh, Danial Javaheri, Armin
Masoumian, Saeid Jafarzadeh Ghoushchi, Yaghoub Pourasad
- Abstract要約: 実世界の機密データに基づく機械学習モデルは、医療スクリーニングから病気の発生、農業、産業、防衛科学など幅広い分野で進歩している。
多くのアプリケーションにおいて、学習参加者のコミュニケーションラウンドは、独自のプライベートデータセットを収集し、実際のデータに対して詳細な機械学習モデルを教え、これらのモデルを使用することの利点を共有することの恩恵を受ける。
既存のプライバシとセキュリティ上の懸念から、ほとんどの人はトレーニング用の機密データ共有を回避している。各ユーザがローカルデータを中央サーバにデモしない限り、フェデレートラーニングは、さまざまなパーティが共用データ上で機械学習アルゴリズムをトレーニングすることを可能にする。
- 参考スコア（独自算出の注目度）: 1.174402845822043
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Machine learning models based on sensitive data in the real-world promise
advances in areas ranging from medical screening to disease outbreaks,
agriculture, industry, defense science, and more. In many applications,
learning participant communication rounds benefit from collecting their own
private data sets, teaching detailed machine learning models on the real data,
and sharing the benefits of using these models. Due to existing privacy and
security concerns, most people avoid sensitive data sharing for training.
Without each user demonstrating their local data to a central server, Federated
Learning allows various parties to train a machine learning algorithm on their
shared data jointly. This method of collective privacy learning results in the
expense of important communication during training. Most large-scale
machine-learning applications require decentralized learning based on data sets
generated on various devices and places. Such datasets represent an essential
obstacle to decentralized learning, as their diverse contexts contribute to
significant differences in the delivery of data across devices and locations.
Researchers have proposed several ways to achieve data privacy in Federated
Learning systems. However, there are still challenges with homogeneous local
data. This research approach is to select nodes (users) to share their data in
Federated Learning for independent data-based equilibrium to improve accuracy,
reduce training time, and increase convergence. Therefore, this research
presents a combined Deep-QReinforcement Learning Ensemble based on Spectral
Clustering called DQRE-SCnet to choose a subset of devices in each
communication round. Based on the results, it has been displayed that it is
possible to decrease the number of communication rounds needed in Federated
Learning.
- Abstract（参考訳）: 現実の世界におけるセンシティブなデータに基づく機械学習モデルは、医療スクリーニングから病気のアウトブレイク、農業、産業、防衛科学まで幅広い分野の進歩を約束している。
多くのアプリケーションでは、学習参加者のコミュニケーションラウンドは、独自のプライベートデータセットを収集し、実際のデータで詳細な機械学習モデルを教え、これらのモデルを使用することの利点を共有することで恩恵を受ける。
既存のプライバシーやセキュリティ上の懸念から、ほとんどの人はトレーニングのための機密データ共有を避けている。
それぞれのユーザがローカルデータを中央のサーバに示さなければ、Federated Learningでは、さまざまなパーティが共用データ上で機械学習アルゴリズムをトレーニングできる。
この集団プライバシー学習の方法は、訓練中に重要なコミュニケーションを犠牲にする。
ほとんどの大規模機械学習アプリケーションは、さまざまなデバイスや場所で生成されたデータセットに基づいた分散学習を必要とする。
このようなデータセットは、さまざまなコンテキストがデバイスやロケーション間でのデータ配信に重大な違いをもたらしているため、分散学習に不可欠な障害となっている。
研究者は、連合学習システムにおいてデータプライバシを実現するいくつかの方法を提案している。
しかしながら、均質なローカルデータには依然として課題がある。
この研究アプローチでは、独立したデータベースの平衡のためにフェデレートラーニングでデータを共有するノード(ユーザ)を選択して、正確性を改善し、トレーニング時間を短縮し、収束性を高める。
そこで本研究では,DQRE-SCnetと呼ばれるスペクトルクラスタリングに基づくディープQReinforcement Learning Ensembleを併用して,各通信ラウンドにおけるデバイスサブセットを選択する。
その結果,連合学習に必要なコミュニケーションラウンド数を減らすことが可能であることが示されている。
関連論文リスト
- A Novel Neural Network-Based Federated Learning System for Imbalanced
and Non-IID Data [2.9642661320713555]
ほとんどの機械学習アルゴリズムは、様々なソースから収集される大量のデータに大きく依存している。
この問題に対処するため、研究者らはフェデレーション学習を導入し、クライアントデータのプライバシーを確保することによって予測モデルを学習した。
本研究では,ニューラルネットワークに基づくフェデレーション学習システムを提案する。
論文 参考訳（メタデータ） (2023-11-16T17:14:07Z) - Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。
FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。
この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文 参考訳（メタデータ） (2023-03-31T10:13:01Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for
Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。
本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。
これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文 参考訳（メタデータ） (2022-05-19T03:32:03Z) - Personalization Improves Privacy-Accuracy Tradeoffs in Federated
Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。
合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文 参考訳（メタデータ） (2022-02-10T20:44:44Z) - Comparative assessment of federated and centralized machine learning [0.0]
Federated Learning(FL)は、デバイス間でフェデレーションされたデータによってトレーニングが行われる、プライバシ保護機械学習スキームである。
本稿では,非IID分散データの性質から,フェデレーション学習に影響を及ぼす諸要因について論じる。
トレーニング対象のモデルサイズが合理的に大きくない場合には,フェデレーション学習がコスト面で有利であることを示す。
論文 参考訳（メタデータ） (2022-02-03T11:20:47Z) - RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
分散機械学習では、労働者はローカルデータのモデル更新を計算する。
労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。
このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
論文 参考訳（メタデータ） (2021-10-08T14:55:32Z) - Federated Learning Versus Classical Machine Learning: A Convergence
Comparison [7.730827805192975]
過去数十年間、機械学習は大規模アプリケーションのためのデータ処理に革命をもたらした。
特に、フェデレーション学習によって、参加者は中央クラウドサーバに機密情報を公開することなく、ローカルデータ上でローカルモデルを協調的にトレーニングすることができる。
シミュレーションの結果,フェデレーション学習は,参加者の匿名性を維持しつつ,限られたコミュニケーションラウンド内で高い収束を実現することが示された。
論文 参考訳（メタデータ） (2021-07-22T17:14:35Z) - Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。
本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。
PENSは強力なベースラインに比べて高い精度を達成することができる。
論文 参考訳（メタデータ） (2021-07-18T19:05:44Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。