論文の概要: Secure Aggregation with Top-K Sparsification in Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2606.10780v1
• Date: Tue, 09 Jun 2026 12:33:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.491939
• Title: Secure Aggregation with Top-K Sparsification in Decentralized Federated Learning
• Title（参考訳）: 分散型フェデレーション学習におけるTop-Kスパシフィケーションによるセキュアアグリゲーション
• Authors: Hengxuan Tang, Jinbao Zhu, Xiaohu Tang,
• Abstract要約: トップK勾配スペーシフィケーション(Top-K gradient Sparsification)は、完全な勾配のいくつかのエントリを伝達することで通信を減らす効果的なアプローチである。 本稿では,ユーザドロップアウトとユーザ共謀による分散化フェデレーション学習における,トップKスペーシングによる情報理論的セキュアアグリゲーションについて検討する。 本稿では,通信効率の低いスパース型セキュアアグリゲーション方式を提案し,次元に依存したオーバヘッドをオフライン位相にオフロードする。
• 参考スコア（独自算出の注目度）: 30.552991787966988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Secure aggregation is a vital component for mitigating gradient leakage in federated learning, but its communication cost conventionally scales with the gradient dimension. This becomes prohibitive for large models and even more pronounced in decentralized federated learning with limited bandwidth and unreliable nodes. Top-K gradient sparsification is an effective approach to reduce communication by transmitting only a few entries of the full gradient, while maintaining competitive model accuracy. Nevertheless, the top-K entries selected by each user are unpredictable and vary across users, which poses a challenge for efficient sparse secure aggregation. This paper studies information-theoretic secure aggregation with top-K sparsification in decentralized federated learning under user dropouts and user collusion. We propose a communication-efficient sparse secure aggregation scheme that offloads dimension-dependent overhead to an offline phase and protects private gradients using random masks and permutations. Experimental results demonstrate that our scheme preserves accuracy comparable to full-gradient aggregation even with only 1% gradient sparsification, while substantially reducing the communication cost.
• Abstract（参考訳）: セキュアアグリゲーションは、連邦学習における勾配リークを緩和するための重要な要素であるが、従来の通信コストは勾配次元に比例する。 これは大規模なモデルでは禁止され、帯域幅と信頼性の低いノードで分散化されたフェデレーション学習においてさらに顕著になる。 Top-Kグラデーションスペーシフィケーションは、競合モデルの精度を維持しつつ、完全なグラデーションのいくつかのエントリを伝達することで、通信を減らす効果的なアプローチである。 それでも、各ユーザによって選択されたトップKエントリは予測不可能であり、ユーザによって異なるため、効率的なスパースセキュアアグリゲーションの課題が生じる。 本稿では,ユーザドロップアウトとユーザ共謀による分散化フェデレーション学習における,トップKスペーシングによる情報理論的セキュアアグリゲーションについて検討する。 通信効率の高いスパースセキュアアグリゲーション方式を提案する。これは、次元依存オーバーヘッドをオフラインフェーズにオフロードし、ランダムマスクと置換を用いてプライベート勾配を保護する。 実験の結果,1%の勾配スペース化を伴っても,全勾配アグリゲーションに匹敵する精度を保ちつつ,通信コストを大幅に削減できることがわかった。

関連論文リスト

• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• LSHFed: Robust and Communication-Efficient Federated Learning with Locally-Sensitive Hashing Gradient Mapping [27.641729042448194]
  フェデレートラーニング(FL)は、生データを公開せずに、分散ノード間で協調的なモデルトレーニングを可能にする。 推論攻撃は、勾配更新から機密情報を回復し、中毒攻撃はモデルの性能を低下させたり、悪意ある振る舞いを誘発する可能性がある。 集約とプライバシ保護を同時に強化する,堅牢で通信効率のよいFLフレームワークであるLSHFedを提案する。
  論文  参考訳（メタデータ） (2025-11-03T07:28:14Z)
• Secure Aggregation Meets Sparsification in Decentralized Learning [1.7010199949406575]
  本稿では,分散学習(DL)のための新しいセキュアアグリゲーションプロトコルであるCESARを紹介する。 CESARは、正直だが正反対の敵を確実に擁護し、両者の共謀に対処するために形式的に適応することができる。
  論文  参考訳（メタデータ） (2024-05-13T12:52:58Z)
• Efficient and Secure Federated Learning for Financial Applications [15.04345368582332]
  本稿では,フェデレート学習における通信コスト削減のための2つのスペーシング手法を提案する。 1つは、モデルパラメータ更新のための時間変化の階層的スペーシフィケーション法であり、高比のスペーシリティ後のモデル精度を維持する問題の解決である。 もう1つは、セキュアアグリゲーションフレームワークにスパシフィケーション手法を適用することである。
  論文  参考訳（メタデータ） (2023-03-15T04:15:51Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Sparsified Secure Aggregation for Privacy-Preserving Federated Learning [1.2891210250935146]
  セキュアアグリゲーションのための軽量な勾配スペーシフィケーションフレームワークを提案する。 提案手法は,セキュアアグリゲーションの通信オーバヘッドを大幅に低減できることを示す。 実験により,従来のセキュアなベンチマークと比較すると,我々のフレームワークは通信オーバーヘッドを最大7.8倍削減し,壁時計のトレーニング時間を1.13倍短縮することを示した。
  論文  参考訳（メタデータ） (2021-12-23T22:44:21Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。