論文の概要: Differential Privacy Meets Federated Learning under Communication Constraints

• arxiv url: http://arxiv.org/abs/2101.12240v1
• Date: Thu, 28 Jan 2021 19:20:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 11:22:11.613255
• Title: Differential Privacy Meets Federated Learning under Communication Constraints
• Title（参考訳）: ディファレンシャルプライバシがコミュニケーション制約下での連合学習を満たす
• Authors: Nima Mohammadi, Jianan Bai, Qiang Fan, Yifei Song, Yang Yi, Lingjia Liu
• Abstract要約: 本稿では,資源制約型フェデレーションシステムにおける通信コストとトレーニングのばらつきのトレードオフについて検討する。 その結果,実践的なプライバシを意識したフェデレーション学習システムの設計に関する重要な知見が得られた。
• 参考スコア（独自算出の注目度）: 20.836834724783007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of federated learning systems is bottlenecked by communication costs and training variance. The communication overhead problem is usually addressed by three communication-reduction techniques, namely, model compression, partial device participation, and periodic aggregation, at the cost of increased training variance. Different from traditional distributed learning systems, federated learning suffers from data heterogeneity (since the devices sample their data from possibly different distributions), which induces additional variance among devices during training. Various variance-reduced training algorithms have been introduced to combat the effects of data heterogeneity, while they usually cost additional communication resources to deliver necessary control information. Additionally, data privacy remains a critical issue in FL, and thus there have been attempts at bringing Differential Privacy to this framework as a mediator between utility and privacy requirements. This paper investigates the trade-offs between communication costs and training variance under a resource-constrained federated system theoretically and experimentally, and how communication reduction techniques interplay in a differentially private setting. The results provide important insights into designing practical privacy-aware federated learning systems.
• Abstract（参考訳）: 連合学習システムの性能は、通信コストと訓練分散によってボトルネックとなる。 通信オーバーヘッド問題は通常、トレーニング分散の増大を犠牲にして、モデル圧縮、部分的デバイス参加、定期集約という3つの通信還元技術によって対処される。 従来の分散学習システムとは異なり、フェデレーション学習はデータ不均一性(デバイスがおそらく異なる分布からデータをサンプリングするため)に悩まされ、トレーニング中にデバイス間でさらなるばらつきを引き起こす。 様々な分散再現型トレーニングアルゴリズムがデータ不均一性に対処するために導入され、通常は必要な制御情報を提供するために追加の通信リソースがかかる。 さらに、データプライバシは依然としてflの重大な問題であり、ユーティリティ要件とプライバシ要件の仲介者として、このフレームワークに差分プライバシを導入する試みがある。 本稿では,資源制約型フェデレーションシステムにおける通信コストと訓練のばらつきのトレードオフを理論的・実験的に検討し,通信の低減技術がどのように相互作用するかについて述べる。 その結果,実践的なプライバシを意識したフェデレーション学習システムの設計に関する重要な知見が得られた。

関連論文リスト

• Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
  分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。 本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。 プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
  論文  参考訳（メタデータ） (2024-09-22T00:49:10Z)
• An Efficient Federated Learning Framework for Training Semantic Communication System [29.593406320684448]
  ほとんどの意味コミュニケーションシステムは高度なディープラーニングモデルに基づいて構築されている。 プライバシーとセキュリティ上の懸念から、データの送信は制限されている。 我々は、FedLolと呼ばれるクライアントからグローバルモデルを集約するメカニズムを導入します。
  論文  参考訳（メタデータ） (2023-10-20T02:45:20Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• Non-IID data and Continual Learning processes in Federated Learning: A long road ahead [58.720142291102135]
  フェデレートラーニング(Federated Learning)は、複数のデバイスや機関が、データをプライベートに保存しながら、機械学習モデルを協調的にトレーニングすることを可能にする、新しいフレームワークである。 本研究では,データの統計的不均一性を正式に分類し,それに直面することのできる最も顕著な学習戦略をレビューする。 同時に、継続学習のような他の機械学習フレームワークからのアプローチを導入し、データの不均一性にも対処し、フェデレートラーニング設定に容易に適応できるようにします。
  論文  参考訳（メタデータ） (2021-11-26T09:57:11Z)
• DQRE-SCnet: A novel hybrid approach for selecting users in Federated Learning with Deep-Q-Reinforcement Learning based on Spectral Clustering [1.174402845822043]
  実世界の機密データに基づく機械学習モデルは、医療スクリーニングから病気の発生、農業、産業、防衛科学など幅広い分野で進歩している。 多くのアプリケーションにおいて、学習参加者のコミュニケーションラウンドは、独自のプライベートデータセットを収集し、実際のデータに対して詳細な機械学習モデルを教え、これらのモデルを使用することの利点を共有することの恩恵を受ける。 既存のプライバシとセキュリティ上の懸念から、ほとんどの人はトレーニング用の機密データ共有を回避している。各ユーザがローカルデータを中央サーバにデモしない限り、フェデレートラーニングは、さまざまなパーティが共用データ上で機械学習アルゴリズムをトレーニングすることを可能にする。
  論文  参考訳（メタデータ） (2021-11-07T15:14:29Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Communication-Efficient Federated Learning via Predictive Coding [38.778944321534084]
  フェデレートされた学習は、リモートワーカーが共同で機械学習モデルを共有することができる。 通信オーバーヘッドは、電力と帯域幅が限られているため、重大なボトルネックとなっている。 フェデレート学習のための予測符号化に基づく通信方式を提案する。
  論文  参考訳（メタデータ） (2021-08-02T14:12:19Z)
• Federated Learning: A Signal Processing Perspective [144.63726413692876]
  フェデレーションラーニングは、データを明示的に交換することなく、ローカルデータセットを保持する複数のエッジデバイスでモデルをトレーニングするための新しい機械学習パラダイムです。 本稿では、信号処理ツールを用いて扱うのが自然である主な課題をカプセル化し、強調する、連合学習のための統一的な体系的フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-03-31T15:14:39Z)
• Constrained Differentially Private Federated Learning for Low-bandwidth Devices [1.1470070927586016]
  本稿では,新しいプライバシー保護型連合学習方式を提案する。 これは、差分プライバシーに基づく理論上のプライバシー保証を提供する。 上流と下流の帯域幅を標準のフェデレート学習と比較して最大99.9%削減する。
  論文  参考訳（メタデータ） (2021-02-27T22:25:06Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)
• Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
  フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。 本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。 その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
  論文  参考訳（メタデータ） (2020-03-07T11:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。