論文の概要: Confined Gradient Descent: Privacy-preserving Optimization for Federated Learning

• arxiv url: http://arxiv.org/abs/2104.13050v1
• Date: Tue, 27 Apr 2021 08:49:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-28 13:25:47.324307
• Title: Confined Gradient Descent: Privacy-preserving Optimization for Federated Learning
• Title（参考訳）: Confined Gradient Descent:Federated Learningのためのプライバシ保護最適化
• Authors: Yanjun Zhang, Guangdong Bai, Xue Li, Surya Nepal, Ryan K L Ko
• Abstract要約: フェデレーションラーニングにより、複数の参加者がトレーニングデータを集約することなく、モデルを共同でトレーニングできます。 最適化のために共有しなければならないグローバルモデルパラメータは、トレーニングデータに関する情報の漏洩に影響を受けやすい。 本稿では,グローバルモデルパラメータの共有を排除し,フェデレーション学習のプライバシーを高めるためのCGD(Confined Gradient Descent)を提案する。
• 参考スコア（独自算出の注目度）: 18.4507750676244
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning enables multiple participants to collaboratively train a model without aggregating the training data. Although the training data are kept within each participant and the local gradients can be securely synthesized, recent studies have shown that such privacy protection is insufficient. The global model parameters that have to be shared for optimization are susceptible to leak information about training data. In this work, we propose Confined Gradient Descent (CGD) that enhances privacy of federated learning by eliminating the sharing of global model parameters. CGD exploits the fact that a gradient descent optimization can start with a set of discrete points and converges to another set at the neighborhood of the global minimum of the objective function. It lets the participants independently train on their local data, and securely share the sum of local gradients to benefit each other. We formally demonstrate CGD's privacy enhancement over traditional FL. We prove that less information is exposed in CGD compared to that of traditional FL. CGD also guarantees desired model accuracy. We theoretically establish a convergence rate for CGD. We prove that the loss of the proprietary models learned for each participant against a model learned by aggregated training data is bounded. Extensive experimental results on two real-world datasets demonstrate the performance of CGD is comparable with the centralized learning, with marginal differences on validation loss (mostly within 0.05) and accuracy (mostly within 1%).
• Abstract（参考訳）: フェデレーション学習は、複数の参加者がトレーニングデータを集約することなく、協調的にモデルをトレーニングすることを可能にする。 トレーニングデータは各参加者内に保持され、局所的な勾配を安全に合成できるが、最近の研究ではそのようなプライバシー保護が不十分であることが示されている。 最適化のために共有しなければならないグローバルモデルパラメータは、トレーニングデータに関する情報の漏洩に影響を受けやすい。 本研究では,グローバルモデルパラメータの共有を排除し,フェデレーション学習のプライバシーを高めるためのCGDを提案する。 CGDは、勾配降下最適化が離散点の集合から始まり、目的関数の大域的最小の近傍にある別の集合に収束するという事実を利用する。 参加者は自発的にローカルデータをトレーニングし、相互に利益を得るための局所的な勾配の合計を安全に共有できる。 我々はCGDの従来のFLに対するプライバシー強化を正式に示す。 従来のflに比べてcgdでは情報量が少ないことが証明される。 CGDは望ましいモデルの精度も保証する。 我々は理論上CGDの収束率を確立する。 集約されたトレーニングデータから学習したモデルに対して,各参加者が学習したプロプライエタリなモデルの損失が有界であることを証明する。 2つの実世界のデータセットに対する大規模な実験結果によると、CGDのパフォーマンスは集中学習と同等であり、検証損失(おもに0.05未満)と精度(おもに1%未満)に差がある。

関連論文リスト

• Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
  マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。 MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。 様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-05-10T11:52:53Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• The Best of Both Worlds: Accurate Global and Personalized Models through Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
  FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。 他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。 さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
  論文  参考訳（メタデータ） (2023-01-21T16:20:57Z)
• Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation [22.151404603413752]
  Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。 既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。 我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
  論文  参考訳（メタデータ） (2022-09-10T05:20:31Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model [8.87104231451079]
  本稿では、GRAFFLと呼ばれる、最初の勾配のない連邦学習フレームワークを提案する。 参加する各機関から得られた暗黙の情報を用いて、パラメータの後方分布を学習する。 本稿では,GRAFFLに基づくベイズ混合モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-29T07:19:44Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。