論文の概要: Privacy-Preserving Distributed SVD via Federated Power

• arxiv url: http://arxiv.org/abs/2103.00704v1
• Date: Mon, 1 Mar 2021 02:33:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 20:32:20.136734
• Title: Privacy-Preserving Distributed SVD via Federated Power
• Title（参考訳）: Federated Powerによるプライバシ保護分散SVD
• Authors: Xiao Guo and Xiang Li and Xiangyu Chang and Shusen Wang and Zhihua Zhang
• Abstract要約: 我々は、現代における部分SVDの計算のためのFedPowerと呼ばれるアルゴリズムのクラスを開発する。 既知の電力法に基づいて、ローカルデバイスは複数のローカル電力イテレーションと1つのグローバルアグリゲーションの間で交互に通信効率を向上させる。 特に、ローカルイテレーションは通信効率を向上させるだけでなく、プライバシー侵害の可能性も低減します。
• 参考スコア（独自算出の注目度）: 34.16800852212585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Singular value decomposition (SVD) is one of the most fundamental tools in machine learning and statistics.The modern machine learning community usually assumes that data come from and belong to small-scale device users. The low communication and computation power of such devices, and the possible privacy breaches of users' sensitive data make the computation of SVD challenging. Federated learning (FL) is a paradigm enabling a large number of devices to jointly learn a model in a communication-efficient way without data sharing. In the FL framework, we develop a class of algorithms called FedPower for the computation of partial SVD in the modern setting. Based on the well-known power method, the local devices alternate between multiple local power iterations and one global aggregation to improve communication efficiency. In the aggregation, we propose to weight each local eigenvector matrix with Orthogonal Procrustes Transformation (OPT). Considering the practical stragglers' effect, the aggregation can be fully participated or partially participated, where for the latter we propose two sampling and aggregation schemes. Further, to ensure strong privacy protection, we add Gaussian noise whenever the communication happens by adopting the notion of differential privacy (DP). We theoretically show the convergence bound for FedPower. The resulting bound is interpretable with each part corresponding to the effect of Gaussian noise, parallelization, and random sampling of devices, respectively. We also conduct experiments to demonstrate the merits of FedPower. In particular, the local iterations not only improve communication efficiency but also reduce the chance of privacy breaches.
• Abstract（参考訳）: シンギュラーバリュー分解(SVD)は、機械学習と統計学において最も基本的なツールの1つであり、現代の機械学習コミュニティは通常、データは小規模のデバイスユーザーから来ていると仮定しています。 このようなデバイスの低通信と計算能力、およびユーザーの機密データの潜在的なプライバシー侵害は、SVDの計算を困難にします。 Federated Learning (FL)は、多数のデバイスがデータ共有なしに、コミュニケーション効率の高い方法でモデルを共同学習することを可能にするパラダイムである。 FLフレームワークでは、現代の設定で部分SVDを計算するためのFedPowerと呼ばれるアルゴリズムのクラスを開発しています。 既知の電力法に基づいて、ローカルデバイスは複数のローカル電力イテレーションと1つのグローバルアグリゲーションの間で交互に通信効率を向上させる。 集計では、各局所固有ベクトル行列を直交プロクルス変換(OPT)で重み付けすることを提案する。 実際のストラグラー効果を考慮すると、アグリゲーションは完全あるいは部分的に参加でき、後者では2つのサンプリングとアグリゲーション方式を提案する。 さらに,プライバシー保護の強固さを確保するため,差分プライバシー(dp)の概念を採用することで,通信の際は常にガウスノイズを付加する。 FedPowerの収束境界を理論的に示します。 得られた境界は、ガウスノイズ、並列化、およびデバイスのランダムサンプリングの影響に対応する各部分でそれぞれ解釈可能である。 また、FedPowerのメリットを示す実験も行います。 特に、ローカルイテレーションは通信効率を向上させるだけでなく、プライバシー侵害の可能性も低減します。

関連論文リスト

• Private Networked Federated Learning for Nonsmooth Objectives [7.278228169713637]
  本稿では,非平滑な目的関数を解くためのネットワーク型フェデレーション学習アルゴリズムを提案する。 参加者の秘密性を保証するため、ゼロ集中型微分プライバシー概念(zCDP)を用いる。 プライバシ保証とアルゴリズムの正確な解への収束の完全な理論的証明を提供する。
  論文  参考訳（メタデータ） (2023-06-24T16:13:28Z)
• Randomized Quantization is All You Need for Differential Privacy in Federated Learning [1.9785872350085876]
  量子化と差分プライバシーを組み合わせたフェデレーション学習のアプローチを検討する。 我々は textbfRandomized textbfQuantization textbfMechanism (RQM) と呼ばれる新しいアルゴリズムを開発した。 アルゴリズムの性能を実証的に研究し、これまでの研究と比較すると、プライバシーと精度のトレードオフが改善されていることを示す。
  論文  参考訳（メタデータ） (2023-06-20T21:54:13Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• On Differential Privacy for Federated Learning in Wireless Systems with Multiple Base Stations [90.53293906751747]
  複数の基地局とセル間干渉を持つ無線システムにおける連合学習モデルを考える。 本稿では,学習過程の収束挙動を,その最適性ギャップの上限を導出することによって示す。 提案するスケジューラは,ランダムなスケジューラと比較して予測平均精度を向上する。
  論文  参考訳（メタデータ） (2022-08-25T03:37:11Z)
• Differentially Private Federated Learning via Inexact ADMM with Multiple Local Updates [0.0]
  我々は,複数の局所的な更新を施した乗算器アルゴリズムのDP不正確な交互方向法を開発した。 当社のアルゴリズムでは,各イテレーション毎に$barepsilon$-DPを提供しており,$barepsilon$はユーザが管理するプライバシ予算である。 提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも31%削減すると同時に,データプライバシのレベルが同じであることを実証する。
  論文  参考訳（メタデータ） (2022-02-18T19:58:47Z)
• A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing [5.404315085380945]
  我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。 提案手法は実際のデータセットで完全に検証される。
  論文  参考訳（メタデータ） (2022-02-11T17:52:56Z)
• Learning Optimal Antenna Tilt Control Policies: A Contextual Linear Bandit Approach [65.27783264330711]
  セルラーネットワークにおけるアンテナ傾きの制御は、ネットワークのカバレッジとキャパシティの間の効率的なトレードオフに到達するために不可欠である。 既存のデータから最適な傾き制御ポリシーを学習するアルゴリズムを考案する。 従来のルールベースの学習アルゴリズムよりもはるかに少ないデータサンプルを用いて最適な傾き更新ポリシーを作成できることを示す。
  論文  参考訳（メタデータ） (2022-01-06T18:24:30Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。