論文の概要: LightSecAgg: Rethinking Secure Aggregation in Federated Learning
- arxiv url: http://arxiv.org/abs/2109.14236v1
- Date: Wed, 29 Sep 2021 07:19:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-30 23:15:56.129912
- Title: LightSecAgg: Rethinking Secure Aggregation in Federated Learning
- Title(参考訳): lightsecagg: 連合学習におけるセキュアアグリゲーション再考
- Authors: Chien-Sheng Yang, Jinhyun So, Chaoyang He, Songze Li, Qian Yu, Salman
Avestimehr
- Abstract要約: 我々はLightSecAggが最先端プロトコルと同じプライバシとフォールアウト・レジリエンスの保証を実現していることを示す。
また、LightSecAggはトレーニング時間を大幅に短縮し、パフォーマンスが最大で12.7タイムsのベースラインでのパフォーマンス向上を実現しています。
- 参考スコア(独自算出の注目度): 24.834891926133594
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Secure model aggregation is a key component of federated learning (FL) that
aims at protecting the privacy of each user's individual model, while allowing
their global aggregation. It can be applied to any aggregation-based
approaches, including algorithms for training a global model, as well as
personalized FL frameworks. Model aggregation needs to also be resilient to
likely user dropouts in FL system, making its design substantially more
complex. State-of-the-art secure aggregation protocols essentially rely on
secret sharing of the random-seeds that are used for mask generations at the
users, in order to enable the reconstruction and cancellation of those
belonging to dropped users. The complexity of such approaches, however, grows
substantially with the number of dropped users. We propose a new approach,
named LightSecAgg, to overcome this bottleneck by turning the focus from
"random-seed reconstruction of the dropped users" to "one-shot aggregate-mask
reconstruction of the active users". More specifically, in LightSecAgg each
user protects its local model by generating a single random mask. This mask is
then encoded and shared to other users, in such a way that the aggregate-mask
of any sufficiently large set of active users can be reconstructed directly at
the server via encoded masks. We show that LightSecAgg achieves the same
privacy and dropout-resiliency guarantees as the state-of-the-art protocols,
while significantly reducing the overhead for resiliency to dropped users.
Furthermore, our system optimization helps to hide the runtime cost of offline
processing by parallelizing it with model training. We evaluate LightSecAgg via
extensive experiments for training diverse models on various datasets in a
realistic FL system, and demonstrate that LightSecAgg significantly reduces the
total training time, achieving a performance gain of up to $12.7\times$ over
baselines.
- Abstract(参考訳): セキュアモデルアグリゲーションは、各ユーザの個々のモデルのプライバシを保護すると同時に、グローバルアグリゲーションを可能にすることを目的とした、連邦学習(FL)の重要なコンポーネントである。
グローバルモデルをトレーニングするためのアルゴリズムや、パーソナライズされたFLフレームワークなど、アグリゲーションベースのアプローチにも適用可能だ。
モデルアグリゲーションは、FLシステムのユーザドロップアウトに対する耐性も必要であり、その設計をかなり複雑にする必要があります。
最先端のセキュアアグリゲーションプロトコルは、本質的には、削除されたユーザに属するユーザの復元とキャンセルを可能にするために、マスク世代に使用されるランダムシードの秘密共有に依存している。
しかし、こうしたアプローチの複雑さは、ユーザの減少によって大きく増加する。
我々はlightsecaggという新しいアプローチを提案し、このボトルネックを克服すべく、焦点を「ドロップしたユーザーをランダムにシードした再構築」から「アクティブユーザーのワンショットアグリゲートマスク復元」へと転換した。
具体的には、LightSecAggでは、各ユーザが単一のランダムマスクを生成してローカルモデルを保護します。
そして、このマスクを他のユーザにエンコードして共有し、十分な数のアクティブなユーザの集合マスクを直接、エンコードされたマスクを介してサーバに直接再構築することができる。
我々は、LightSecAggが最先端プロトコルと同じプライバシとドロップアウト・レジリエンスを保証すると同時に、ドロップユーザに対するレジリエンスのオーバーヘッドを大幅に削減することを示す。
さらに,システム最適化は,モデルトレーニングと並列化することで,オフライン処理のランタイムコストを隠蔽する。
現実的なFLシステムにおいて、様々なデータセット上で様々なモデルのトレーニングを行うための広範な実験を通じてLightSecAggを評価し、LightSecAggがトレーニング時間を大幅に短縮し、最大12.7\times$ベースラインでのパフォーマンス向上を実現していることを示す。
関連論文リスト
- Scale-MIA: A Scalable Model Inversion Attack against Secure Federated
Learning via Latent Space Reconstruction [26.9559481641707]
フェデレーション学習は、参加者のデータプライバシを保護する能力で知られている。
最近出現したモデル反転攻撃 (MIA) は、悪意のあるパラメータサーバが、モデルの更新によって個々のユーザーのローカルデータサンプルを再構築できることを示した。
本報告では,クライアントのトレーニングサンプルを,集約された更新から効率よく,かつ正確に回収できる新しいMIAであるScale-MIAを提案する。
論文 参考訳(メタデータ) (2023-11-10T00:53:22Z) - Federated Learning Under Restricted User Availability [3.0846824529023387]
ユーザの不均一な可用性や参加は、悪影響や環境のために避けられない。
本稿では,頻度の低いユーザや制限されたユーザによるデータへの制限的参加を効果的に捉え,緩和するFL問題の新たな定式化を提案する。
提案手法は, 標準FLと比較して, 性能が有意に向上したことを示す。
論文 参考訳(メタデータ) (2023-09-25T14:40:27Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Mitigating Cross-client GANs-based Attack in Federated Learning [78.06700142712353]
マルチ分散マルチメディアクライアントは、グローバル共有モデルの共同学習のために、フェデレートラーニング(FL)を利用することができる。
FLは、GAN(C-GANs)をベースとしたクロスクライアント・ジェネレーティブ・敵ネットワーク(GANs)攻撃に苦しむ。
C-GAN攻撃に抵抗する現在のFLスキームを改善するためのFed-EDKD手法を提案する。
論文 参考訳(メタデータ) (2023-07-25T08:15:55Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-02-24T04:29:44Z) - Robust Quantity-Aware Aggregation for Federated Learning [72.59915691824624]
悪意のあるクライアントは、モデル更新を害し、モデルアグリゲーションにおけるモデル更新の影響を増幅するために大量の要求を行う。
FLの既存の防御メソッドは、悪意のあるモデル更新を処理する一方で、すべての量の良性を扱うか、単にすべてのクライアントの量を無視/停止するだけである。
本稿では,フェデレーション学習のためのロバストな量認識アグリゲーションアルゴリズムであるFedRAを提案し,局所的なデータ量を認識してアグリゲーションを行う。
論文 参考訳(メタデータ) (2022-05-22T15:13:23Z) - Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
フェデレートラーニング(FL)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。
我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
論文 参考訳(メタデータ) (2022-01-27T08:43:11Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳(メタデータ) (2021-08-19T12:20:31Z) - Byzantine-Resilient Secure Federated Learning [2.578242050187029]
本稿では,セキュアなフェデレーション学習のための単一サーバByzantine-Resilient secure aggregate framework(BREA)を提案する。
BREAは、Byzantine-Resilience Consistence Consistenceを同時に保証するために、統合的で検証可能な、安全なモデルアグリゲーションアプローチに基づいている。
実験では,ビザンチン系ユーザの存在下での収束を実証し,従来のフェデレート学習ベンチマークに匹敵する精度を示した。
論文 参考訳(メタデータ) (2020-07-21T22:15:11Z) - Turbo-Aggregate: Breaking the Quadratic Aggregation Barrier in Secure
Federated Learning [2.294014185517203]
多くのユーザにフェデレーション学習を拡大する上で大きなボトルネックは、多くのユーザを対象としたセキュアなモデルアグリゲーションのオーバーヘッドである。
本稿では,Turbo-Aggregateという,O(NlogN)$の安全なアグリゲーションオーバヘッドを実現するための,最初のセキュアアグリゲーションフレームワークを提案する。
我々は,Turbo-Aggregateがユーザ数でほぼ直線的に成長する総実行時間を実現し,最大40ドル以上のユーザを持つ最先端プロトコルの高速化を実現することを実験的に実証した。
論文 参考訳(メタデータ) (2020-02-11T01:15:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。