論文の概要: TOFU: Towards Obfuscated Federated Updates by Encoding Weight Updates
into Gradients from Proxy Data
- arxiv url: http://arxiv.org/abs/2201.08494v1
- Date: Fri, 21 Jan 2022 00:25:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-24 14:26:38.567200
- Title: TOFU: Towards Obfuscated Federated Updates by Encoding Weight Updates
into Gradients from Proxy Data
- Title(参考訳): tofu: 重みの更新をプロキシデータから勾配にエンコードすることで、難読化したフェデレーション更新へ
- Authors: Isha Garg, Manish Nagaraj, Kaushik Roy
- Abstract要約: 本稿では,各クライアントの重み更新を勾配でエンコードするプロキシデータを生成する新しいアルゴリズムTOFUを提案する。
ToFUは、MNISTおよびCIFAR-10データセット上で、1%未満の精度低下と7%の精度低下で学習を可能にする。
これにより、標準的なフェデレート平均化アルゴリズムよりも4倍と6.6倍の通信効率で、フェデレートされた設定で精度をほぼフルにすることができる。
- 参考スコア(独自算出の注目度): 7.489265323050362
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advances in Federated Learning and an abundance of user data have enabled
rich collaborative learning between multiple clients, without sharing user
data. This is done via a central server that aggregates learning in the form of
weight updates. However, this comes at the cost of repeated expensive
communication between the clients and the server, and concerns about
compromised user privacy. The inversion of gradients into the data that
generated them is termed data leakage. Encryption techniques can be used to
counter this leakage, but at added expense. To address these challenges of
communication efficiency and privacy, we propose TOFU, a novel algorithm which
generates proxy data that encodes the weight updates for each client in its
gradients. Instead of weight updates, this proxy data is now shared. Since
input data is far lower in dimensional complexity than weights, this encoding
allows us to send much lesser data per communication round. Additionally, the
proxy data resembles noise, and even perfect reconstruction from data leakage
attacks would invert the decoded gradients into unrecognizable noise, enhancing
privacy. We show that TOFU enables learning with less than 1% and 7% accuracy
drops on MNIST and on CIFAR-10 datasets, respectively. This drop can be
recovered via a few rounds of expensive encrypted gradient exchange. This
enables us to learn to near-full accuracy in a federated setup, while being 4x
and 6.6x more communication efficient than the standard Federated Averaging
algorithm on MNIST and CIFAR-10, respectively.
- Abstract(参考訳): 連合学習の進歩とユーザデータの豊富さは、ユーザデータを共有することなく、複数のクライアント間でリッチな協調学習を可能にした。
これは、重み付け更新の形で学習を集約する中央サーバを通じて行われる。
しかし、これは、クライアントとサーバ間の繰り返しの高価な通信のコストと、ユーザプライバシの侵害に関する懸念が伴う。
生成したデータへの勾配の反転は、データ漏洩と呼ばれる。
暗号化技術は、この漏洩に対処するために使用できるが、追加の費用はかかる。
通信効率とプライバシのこれらの課題に対処するために,各クライアントの重み更新を勾配にエンコードするプロキシデータを生成する新しいアルゴリズムTOFUを提案する。
重み更新の代わりに、このプロキシデータが共有されるようになった。
入力データは重みよりも次元の複雑さがはるかに低いため、この符号化により通信ラウンドあたりのデータの送信がずっと少ない。
さらに、プロキシデータはノイズに似ており、データ漏洩攻撃による完全な再構築でさえ、デコードされた勾配を認識不能なノイズに変換し、プライバシーを向上する。
ToFUは,MNISTおよびCIFAR-10データセット上で,1%未満の精度低下と7%の精度低下で学習を可能にする。
このドロップは、数ラウンドの高価な暗号化勾配交換によって回収できる。
これにより、MNIST と CIFAR-10 の標準フェデレーション平均化アルゴリズムよりも4倍と6.6倍の通信効率で、フェデレートされた設定で精度をほぼフルにすることができる。
関連論文リスト
- RFLPA: A Robust Federated Learning Framework against Poisoning Attacks with Secure Aggregation [2.2667044928324747]
フェデレートラーニング(FL)は、複数のデバイスがデータを共有せずに協調的にモデルをトレーニングすることを可能にする。
その利点にもかかわらず、FLはプライバシーの漏洩や中毒攻撃に弱い。
本稿では,SecAggプロトコルに基づくRFLPAに対する堅牢なフェデレート学習フレームワークを提案する。
論文 参考訳(メタデータ) (2024-05-24T03:31:10Z) - LOKI: Large-scale Data Reconstruction Attack against Federated Learning
through Model Manipulation [25.03733882637947]
従来の制限を克服し,アグリゲーションの匿名性を破る攻撃であるLOKIを導入する。
FedAVGと100のクライアントの集約により、以前の作業はMNIST、CIFAR-100、Tiny ImageNetのイメージの1%未満をリークすることができる。
LOKIは1回のトレーニングラウンドのみを使用して、すべてのデータサンプルの76~86%をリークすることができる。
論文 参考訳(メタデータ) (2023-03-21T23:29:35Z) - Suppressing Poisoning Attacks on Federated Learning for Medical Imaging [4.433842217026879]
本稿では, ビザンチン障害に対する耐性を有する分散型外乱抑制法(DOS)を提案する。
提案手法は,異なるクライアントのローカルパラメータ更新間の距離を計算し,各クライアントに対してアウトラヤスコアを求める。
得られたアウトリーチスコアはソフトマックス関数を用いて正規化重みに変換され、局所パラメータの重み付け平均がグローバルモデル更新に使用される。
論文 参考訳(メタデータ) (2022-07-15T00:43:34Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳(メタデータ) (2022-02-14T18:33:12Z) - BEAS: Blockchain Enabled Asynchronous & Secure Federated Machine
Learning [0.0]
我々は、N-party Federated Learningのための最初のブロックチェーンベースのフレームワークBEASを紹介する。
グラデーションプルーニングを使用したトレーニングデータの厳格なプライバシー保証を提供する。
異常検出プロトコルは、データ汚染攻撃のリスクを最小限に抑えるために使用される。
また、異種学習環境における早期収束を防止するための新しいプロトコルも定義する。
論文 参考訳(メタデータ) (2022-02-06T17:11:14Z) - When the Curious Abandon Honesty: Federated Learning Is Not Private [36.95590214441999]
フェデレーション・ラーニング(FL)では、データは機械学習モデルを共同で訓練しているときに個人デバイスを離れない。
我々は、アクティブで不正直な中央組織が受信した勾配からユーザデータを効率的に抽出できる新しいデータ再構成攻撃を示す。
論文 参考訳(メタデータ) (2021-12-06T10:37:03Z) - CAFE: Catastrophic Data Leakage in Vertical Federated Learning [65.56360219908142]
近年の研究では、分散機械学習システムにデプロイされた勾配共有機構を通じて、プライベートトレーニングデータがリークされることが示されている。
本稿では,共有集約勾配からバッチデータを効率よく回収する理論的正当性を持つ高度なデータ漏洩攻撃を提案する。
論文 参考訳(メタデータ) (2021-10-26T23:22:58Z) - Robbing the Fed: Directly Obtaining Private Data in Federated Learning
with Modified Models [56.0250919557652]
フェデレーション学習は、ユーザーのプライバシーと効率を高めるという約束で急速に人気を集めている。
ユーザプライバシに対する以前の攻撃はスコープが限られており、少数のデータポイントに集約されたグラデーション更新にはスケールしない。
共有モデルアーキテクチャの最小限ではあるが悪意のある変更に基づく新しい脅威モデルを導入する。
論文 参考訳(メタデータ) (2021-10-25T15:52:06Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳(メタデータ) (2020-08-13T04:26:31Z) - Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。
本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。
各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
論文 参考訳(メタデータ) (2020-06-17T18:14:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。