論文の概要: Privacy-Preserving Federated Learning via System Immersion and Random Matrix Encryption

• arxiv url: http://arxiv.org/abs/2204.02497v1
• Date: Tue, 5 Apr 2022 21:28:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 02:05:55.630656
• Title: Privacy-Preserving Federated Learning via System Immersion and Random Matrix Encryption
• Title（参考訳）: システムインマージョンとランダムマトリックス暗号化によるプライバシ保護フェデレーション学習
• Authors: Haleh Hayati, Carlos Murguia, Nathan van de Wouw
• Abstract要約: フェデレーション学習(FL)は、クライアントが中央集権的な(潜在的に敵対的な)サーバとデータを共有するのではなく、デバイス上でAIモデルをトレーニングする、コラボレーティブな分散学習のためのプライバシソリューションとして登場した。 本稿では,制御理論からの行列暗号とシステム浸漬ツールの相乗効果に基づいて,プライバシ保護フェデレーションラーニング(PPFL)フレームワークを提案する。 提案アルゴリズムは,クライアントのデータに関する情報を公開せずに,標準FLと同等の精度と収束率を無視できるコストで提供することを示す。
• 参考スコア（独自算出の注目度）: 4.258856853258348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) has emerged as a privacy solution for collaborative distributed learning where clients train AI models directly on their devices instead of sharing their data with a centralized (potentially adversarial) server. Although FL preserves local data privacy to some extent, it has been shown that information about clients' data can still be inferred from model updates. In recent years, various privacy-preserving schemes have been developed to address this privacy leakage. However, they often provide privacy at the expense of model performance or system efficiency and balancing these tradeoffs is a crucial challenge when implementing FL schemes. In this manuscript, we propose a Privacy-Preserving Federated Learning (PPFL) framework built on the synergy of matrix encryption and system immersion tools from control theory. The idea is to immerse the learning algorithm, a Stochastic Gradient Decent (SGD), into a higher-dimensional system (the so-called target system) and design the dynamics of the target system so that: the trajectories of the original SGD are immersed/embedded in its trajectories, and it learns on encrypted data (here we use random matrix encryption). Matrix encryption is reformulated at the server as a random change of coordinates that maps original parameters to a higher-dimensional parameter space and enforces that the target SGD converges to an encrypted version of the original SGD optimal solution. The server decrypts the aggregated model using the left inverse of the immersion map. We show that our algorithm provides the same level of accuracy and convergence rate as the standard FL with a negligible computation cost while revealing no information about the clients' data.
• Abstract（参考訳）: フェデレーション学習(FL)は、クライアントが中央集権的な(潜在的に敵対的な)サーバとデータを共有するのではなく、デバイス上でAIモデルをトレーニングする、コラボレーティブな分散学習のためのプライバシソリューションとして登場した。 FLはローカルデータのプライバシをある程度保持するが、クライアントのデータに関する情報はモデル更新から推測可能であることが示されている。 近年、このプライバシー漏洩に対処する様々なプライバシー保護スキームが開発されている。 しかし、モデル性能やシステム効率を犠牲にしてプライバシを提供することが多く、これらのトレードオフはFLスキームを実装する上で重要な課題である。 本稿では,制御理論に基づく行列暗号とシステム浸漬ツールの相乗効果に基づいて,プライバシ保護フェデレーションラーニング(PPFL)フレームワークを提案する。 学習アルゴリズムSGD(Stochastic Gradient Decent)を高次元システム(いわゆるターゲットシステム)にマージし、ターゲットシステムのダイナミクスを設計することを目的としている。 行列暗号は、元のパラメータを高次元のパラメータ空間にマッピングし、ターゲットのSGDが元のSGD最適解の暗号化バージョンに収束することを強制する座標のランダムな変更としてサーバで再構成される。 サーバは没入マップの左逆を用いて集約モデルを復号する。 提案アルゴリズムは,クライアントのデータについて何も明らかにすることなく,計算コストが無視できる標準FLと同等の精度と収束率を提供することを示す。

関連論文リスト

• A New Federated Learning Framework Against Gradient Inversion Attacks [17.3044168511991]
  Federated Learning (FL)は、クライアントが生データを共有せずに機械学習モデルを集合的にトレーニングできるようにすることで、データのプライバシを保護することを目的としている。 近年の研究では、FL中に交換された情報がグラディエント・インバージョン・アタック(GIA)の対象であることが示されている。
  論文  参考訳（メタデータ） (2024-12-10T04:53:42Z)
• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• Immersion and Invariance-based Coding for Privacy-Preserving Federated Learning [1.4226399196408985]
  協調分散学習におけるプライバシ保護手法として,フェデレートラーニング(FL)が登場している。 制御理論から差分プライバシーとシステム浸漬ツールを組み合わせたプライバシー保護FLフレームワークを提案する。 提案手法は,局所モデルパラメータとグローバルモデルパラメータの両方に対して,任意のレベルの差分プライバシを提供するように調整可能であることを実証する。
  論文  参考訳（メタデータ） (2024-09-25T15:04:42Z)
• FLUE: Federated Learning with Un-Encrypted model weights [0.0]
  フェデレートされた学習により、デバイスは、ローカルに保存されたトレーニングデータを保持しながら、共有モデルを協調的にトレーニングすることができる。 最近の研究では、トレーニング中に暗号化されたモデルパラメータを使うことが強調されている。 本稿では,符号化された局所勾配を暗号化なしで活用する,新しいフェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-26T14:04:57Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• FheFL: Fully Homomorphic Encryption Friendly Privacy-Preserving Federated Learning with Byzantine Users [19.209830150036254]
  従来の機械学習パラダイムにおけるデータプライバシの問題を軽減するために、フェデレートラーニング(FL)技術が開発された。 次世代のFLアーキテクチャでは、モデル更新をサーバから保護するための暗号化と匿名化技術が提案されている。 本稿では,完全同型暗号(FHE)に基づく新しいFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T11:20:00Z)
• PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
  プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。 次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
  論文  参考訳（メタデータ） (2023-03-31T18:03:53Z)
• sqSGD: Locally Private and Communication Efficient Federated Learning [14.60645909629309]
  Federated Learning(FL)は、分散データソースから機械学習モデルをトレーニングするテクニックである。 我々は,通信効率と高次元互換性に対処するsqSGDという勾配学習アルゴリズムを開発した。 実験の結果、sqSGDはローカルのプライバシー制約でLeNetやResNetのような大規模なモデルをうまく学習している。
  論文  参考訳（メタデータ） (2022-06-21T17:45:35Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)
• Privacy-preserving Traffic Flow Prediction: A Federated Learning Approach [61.64006416975458]
  本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。 FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。 FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
  論文  参考訳（メタデータ） (2020-03-19T13:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。