論文の概要: Privacy-Preserving Federated Learning via System Immersion and Random
Matrix Encryption
- arxiv url: http://arxiv.org/abs/2204.02497v1
- Date: Tue, 5 Apr 2022 21:28:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-08 02:05:55.630656
- Title: Privacy-Preserving Federated Learning via System Immersion and Random
Matrix Encryption
- Title(参考訳): システムインマージョンとランダムマトリックス暗号化によるプライバシ保護フェデレーション学習
- Authors: Haleh Hayati, Carlos Murguia, Nathan van de Wouw
- Abstract要約: フェデレーション学習(FL)は、クライアントが中央集権的な(潜在的に敵対的な)サーバとデータを共有するのではなく、デバイス上でAIモデルをトレーニングする、コラボレーティブな分散学習のためのプライバシソリューションとして登場した。
本稿では,制御理論からの行列暗号とシステム浸漬ツールの相乗効果に基づいて,プライバシ保護フェデレーションラーニング(PPFL)フレームワークを提案する。
提案アルゴリズムは,クライアントのデータに関する情報を公開せずに,標準FLと同等の精度と収束率を無視できるコストで提供することを示す。
- 参考スコア(独自算出の注目度): 4.258856853258348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) has emerged as a privacy solution for collaborative
distributed learning where clients train AI models directly on their devices
instead of sharing their data with a centralized (potentially adversarial)
server. Although FL preserves local data privacy to some extent, it has been
shown that information about clients' data can still be inferred from model
updates. In recent years, various privacy-preserving schemes have been
developed to address this privacy leakage. However, they often provide privacy
at the expense of model performance or system efficiency and balancing these
tradeoffs is a crucial challenge when implementing FL schemes. In this
manuscript, we propose a Privacy-Preserving Federated Learning (PPFL) framework
built on the synergy of matrix encryption and system immersion tools from
control theory. The idea is to immerse the learning algorithm, a Stochastic
Gradient Decent (SGD), into a higher-dimensional system (the so-called target
system) and design the dynamics of the target system so that: the trajectories
of the original SGD are immersed/embedded in its trajectories, and it learns on
encrypted data (here we use random matrix encryption). Matrix encryption is
reformulated at the server as a random change of coordinates that maps original
parameters to a higher-dimensional parameter space and enforces that the target
SGD converges to an encrypted version of the original SGD optimal solution. The
server decrypts the aggregated model using the left inverse of the immersion
map. We show that our algorithm provides the same level of accuracy and
convergence rate as the standard FL with a negligible computation cost while
revealing no information about the clients' data.
- Abstract(参考訳): フェデレーション学習(FL)は、クライアントが中央集権的な(潜在的に敵対的な)サーバとデータを共有するのではなく、デバイス上でAIモデルをトレーニングする、コラボレーティブな分散学習のためのプライバシソリューションとして登場した。
FLはローカルデータのプライバシをある程度保持するが、クライアントのデータに関する情報はモデル更新から推測可能であることが示されている。
近年、このプライバシー漏洩に対処する様々なプライバシー保護スキームが開発されている。
しかし、モデル性能やシステム効率を犠牲にしてプライバシを提供することが多く、これらのトレードオフはFLスキームを実装する上で重要な課題である。
本稿では,制御理論に基づく行列暗号とシステム浸漬ツールの相乗効果に基づいて,プライバシ保護フェデレーションラーニング(PPFL)フレームワークを提案する。
学習アルゴリズムSGD(Stochastic Gradient Decent)を高次元システム(いわゆるターゲットシステム)にマージし、ターゲットシステムのダイナミクスを設計することを目的としている。
行列暗号は、元のパラメータを高次元のパラメータ空間にマッピングし、ターゲットのSGDが元のSGD最適解の暗号化バージョンに収束することを強制する座標のランダムな変更としてサーバで再構成される。
サーバは没入マップの左逆を用いて集約モデルを復号する。
提案アルゴリズムは,クライアントのデータについて何も明らかにすることなく,計算コストが無視できる標準FLと同等の精度と収束率を提供することを示す。
関連論文リスト
- Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳(メタデータ) (2023-10-31T16:13:22Z) - Share Your Representation Only: Guaranteed Improvement of the
Privacy-Utility Tradeoff in Federated Learning [47.042811490685324]
この情報漏洩のリスクを減らし、最先端の差分プライベートアルゴリズムを使っても、無料ではない。
本稿では,異なるプライバシ保証を持つフェデレーションモデルにおいて,様々な当事者が協調的に洗練する表現学習の目的について考察する。
同じ小さなプライバシ予算の下で、以前の作業よりも大幅にパフォーマンスが向上するのを観察する。
論文 参考訳(メタデータ) (2023-09-11T14:46:55Z) - FheFL: Fully Homomorphic Encryption Friendly Privacy-Preserving
Federated Learning with Byzantine Users [13.924829298309415]
従来の機械学習パラダイムにおけるデータプライバシの問題を軽減するために、フェデレートラーニング(FL)技術が開発された。
次世代のFLアーキテクチャでは、モデル更新をサーバから保護するための暗号化と匿名化技術が提案されている。
本稿では,完全同型暗号(FHE)に基づく新しいFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-08T11:20:00Z) - PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。
次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
論文 参考訳(メタデータ) (2023-03-31T18:03:53Z) - sqSGD: Locally Private and Communication Efficient Federated Learning [14.60645909629309]
Federated Learning(FL)は、分散データソースから機械学習モデルをトレーニングするテクニックである。
我々は,通信効率と高次元互換性に対処するsqSGDという勾配学習アルゴリズムを開発した。
実験の結果、sqSGDはローカルのプライバシー制約でLeNetやResNetのような大規模なモデルをうまく学習している。
論文 参考訳(メタデータ) (2022-06-21T17:45:35Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳(メタデータ) (2022-01-25T04:43:29Z) - Robust Semi-supervised Federated Learning for Images Automatic
Recognition in Internet of Drones [57.468730437381076]
プライバシー保護型UAV画像認識のための半教師付きフェデレートラーニング(SSFL)フレームワークを提案する。
異なるカメラモジュールを使用したUAVによって収集されたローカルデータの数、特徴、分布には大きな違いがある。
本稿では,クライアントがトレーニングに参加する頻度,すなわちFedFreqアグリゲーションルールに基づくアグリゲーションルールを提案する。
論文 参考訳(メタデータ) (2022-01-03T16:49:33Z) - Secure Neuroimaging Analysis using Federated Learning with Homomorphic
Encryption [14.269757725951882]
フェデレートラーニング(FL)は、異なるリモートデータソース上の機械学習モデルの分散計算を可能にする。
最近のメンバーシップ攻撃は、モデルパラメータや要約統計が中央サイトと共有されているときに、個人的または機密性の高い個人情報が漏洩したり、推測されることがあることを示している。
完全同相暗号(FHE)を用いたセキュアFLフレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-07T12:15:52Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z) - Privacy-preserving Traffic Flow Prediction: A Federated Learning
Approach [61.64006416975458]
本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。
FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。
FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
論文 参考訳(メタデータ) (2020-03-19T13:07:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。