論文の概要: Comparative assessment of federated and centralized machine learning
- arxiv url: http://arxiv.org/abs/2202.01529v1
- Date: Thu, 3 Feb 2022 11:20:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-04 21:14:27.465394
- Title: Comparative assessment of federated and centralized machine learning
- Title（参考訳）: 統合型および集中型機械学習の比較評価
- Authors: Ibrahim Abdul Majeed, Sagar Kaushik, Aniruddha Bardhan, Venkata Siva
Kumar Tadi, Hwang-Ki Min, Karthikeyan Kumaraguru, Rajasekhara Duvvuru Muni
- Abstract要約: Federated Learning(FL)は、デバイス間でフェデレーションされたデータによってトレーニングが行われる、プライバシ保護機械学習スキームである。
本稿では,非IID分散データの性質から,フェデレーション学習に影響を及ぼす諸要因について論じる。
トレーニング対象のモデルサイズが合理的に大きくない場合には,フェデレーション学習がコスト面で有利であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a privacy preserving machine learning scheme,
where training happens with data federated across devices and not leaving them
to sustain user privacy. This is ensured by making the untrained or partially
trained models to reach directly the individual devices and getting locally
trained "on-device" using the device owned data, and the server aggregating all
the partially trained model learnings to update a global model. Although almost
all the model learning schemes in the federated learning setup use gradient
descent, there are certain characteristic differences brought about by the
non-IID nature of the data availability, that affects the training in
comparison to the centralized schemes. In this paper, we discuss the various
factors that affect the federated learning training, because of the non-IID
distributed nature of the data, as well as the inherent differences in the
federating learning approach as against the typical centralized gradient
descent techniques. We empirically demonstrate the effect of number of samples
per device and the distribution of output labels on federated learning. In
addition to the privacy advantage we seek through federated learning, we also
study if there is a cost advantage while using federated learning frameworks.
We show that federated learning does have an advantage in cost when the model
sizes to be trained are not reasonably large. All in all, we present the need
for careful design of model for both performance and cost.
- Abstract（参考訳）: フェデレーション学習(FL)は、デバイス間でフェデレーションされたデータによってトレーニングが行われ、ユーザのプライバシを維持できない、プライバシ保護機械学習スキームである。
これは、未訓練または部分的に訓練されたモデルを個々のデバイスに直接到達させ、デバイス所有のデータを使用してローカルに訓練された"オンデバイス"を得るようにし、サーバがすべての部分的に訓練されたモデル学習を集約してグローバルモデルを更新することによって保証される。
フェデレーション学習におけるモデル学習スキームのほとんどすべてが勾配勾配を用いたが、データ可用性の非IID的な性質によって引き起こされる特徴的な違いは、集中型スキームと比較して訓練に影響を及ぼす。
本稿では,データの非iid分散性や,典型的な集中型勾配降下手法に対するフェデレーション学習アプローチにおける本質的差異から,フェデレーション学習に影響を及ぼすさまざまな要因について考察する。
本研究では,デバイス毎のサンプル数と出力ラベルの分布が連合学習に与える影響を実証的に示す。
フェデレーション学習を通じて求めるプライバシのアドバンテージに加えて、フェデレーション学習フレームワークを使用する場合のコストアドバンテージも調べます。
トレーニング対象のモデルサイズが合理的に大きくない場合には,フェデレーション学習がコスト面で有利であることを示す。
全体として、パフォーマンスとコストの両面において、モデルの慎重な設計の必要性を示します。
関連論文リスト
- MultiConfederated Learning: Inclusive Non-IID Data handling with Decentralized Federated Learning [1.2726316791083532]
Federated Learning (FL) は、機密性のある臨床機械学習のようなユースケースを可能にするための、顕著なプライバシ保護技術として登場した。
FLはデータを所有するリモートデバイスによってトレーニングされたモデルを集約することで動作する。
非IIDデータを扱うために設計された分散FLフレームワークであるMultiConfederated Learningを提案する。
論文 参考訳（メタデータ） (2024-04-20T16:38:26Z) - Federated Bayesian Network Ensembles [3.24530181403525]
フェデレートされた学習により、プライバシの懸念によりデータ共有が許可されていない場合、分散化されたデータ上で機械学習アルゴリズムを実行することができます。
FBNEは、フェデレートされた学習ツールボックスの中で潜在的に有用なツールであることを示す。
本稿では,時間的複雑性,モデル精度,プライバシ保護,モデル解釈可能性の観点から,このアプローチのメリットとデメリットについて論じる。
論文 参考訳（メタデータ） (2024-02-19T13:52:37Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳（メタデータ） (2022-10-24T10:59:29Z) - Federated Self-Supervised Learning in Heterogeneous Settings: Limits of
a Baseline Approach on HAR [0.5039813366558306]
我々は,標準軽量オートエンコーダと標準フェデレーション平均化が,人間の活動認識の堅牢な表現を学習できないことを示す。
これらの知見は、フェデレーション・セルフ・スーパーバイザード・ラーニングにおけるより集中的な研究努力を提唱している。
論文 参考訳（メタデータ） (2022-07-17T14:15:45Z) - Certified Robustness in Federated Learning [54.03574895808258]
我々は,フェデレーショントレーニングとパーソナライゼーション,および認定ロバストネスの相互作用について検討した。
単純なフェデレーション平均化技術は, より正確であるだけでなく, より精度の高いロバストモデルの構築にも有効であることがわかった。
論文 参考訳（メタデータ） (2022-06-06T12:10:53Z) - FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for
Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。
本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。
これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文 参考訳（メタデータ） (2022-05-19T03:32:03Z) - DQRE-SCnet: A novel hybrid approach for selecting users in Federated
Learning with Deep-Q-Reinforcement Learning based on Spectral Clustering [1.174402845822043]
実世界の機密データに基づく機械学習モデルは、医療スクリーニングから病気の発生、農業、産業、防衛科学など幅広い分野で進歩している。
多くのアプリケーションにおいて、学習参加者のコミュニケーションラウンドは、独自のプライベートデータセットを収集し、実際のデータに対して詳細な機械学習モデルを教え、これらのモデルを使用することの利点を共有することの恩恵を受ける。
既存のプライバシとセキュリティ上の懸念から、ほとんどの人はトレーニング用の機密データ共有を回避している。各ユーザがローカルデータを中央サーバにデモしない限り、フェデレートラーニングは、さまざまなパーティが共用データ上で機械学習アルゴリズムをトレーニングすることを可能にする。
論文 参考訳（メタデータ） (2021-11-07T15:14:29Z) - Constrained Differentially Private Federated Learning for Low-bandwidth
Devices [1.1470070927586016]
本稿では,新しいプライバシー保護型連合学習方式を提案する。
これは、差分プライバシーに基づく理論上のプライバシー保証を提供する。
上流と下流の帯域幅を標準のフェデレート学習と比較して最大99.9%削減する。
論文 参考訳（メタデータ） (2021-02-27T22:25:06Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。