論文の概要: ImprovDML: Improved Trade-off in Private Byzantine-Resilient Distributed Machine Learning

• arxiv url: http://arxiv.org/abs/2506.15181v1
• Date: Wed, 18 Jun 2025 06:53:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.564497
• Title: ImprovDML: Improved Trade-off in Private Byzantine-Resilient Distributed Machine Learning
• Title（参考訳）: ImprovDML: プライベートビザンチン耐性分散機械学習におけるトレードオフの改善
• Authors: Bing Liu, Chengcheng Zhao, Li Chai, Peng Cheng, Yaonan Wang,
• Abstract要約: 一般的な戦略は、Byzantine-Resilientアグリゲーションルールと差分プライバシーメカニズムの統合である。 そこで我々は,プライバシ保護を同時に確保しつつ,モデルの精度を向上する ImprovDML を提案する。 モデル精度と差分プライバシーの間のトレードオフを改善することを実証する。
• 参考スコア（独自算出の注目度）: 22.85986751447643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Jointly addressing Byzantine attacks and privacy leakage in distributed machine learning (DML) has become an important issue. A common strategy involves integrating Byzantine-resilient aggregation rules with differential privacy mechanisms. However, the incorporation of these techniques often results in a significant degradation in model accuracy. To address this issue, we propose a decentralized DML framework, named ImprovDML, that achieves high model accuracy while simultaneously ensuring privacy preservation and resilience to Byzantine attacks. The framework leverages a kind of resilient vector consensus algorithms that can compute a point within the normal (non-Byzantine) agents' convex hull for resilient aggregation at each iteration. Then, multivariate Gaussian noises are introduced to the gradients for privacy preservation. We provide convergence guarantees and derive asymptotic learning error bounds under non-convex settings, which are tighter than those reported in existing works. For the privacy analysis, we adopt the notion of concentrated geo-privacy, which quantifies privacy preservation based on the Euclidean distance between inputs. We demonstrate that it enables an improved trade-off between privacy preservation and model accuracy compared to differential privacy. Finally, numerical simulations validate our theoretical results.
• Abstract（参考訳）: 分散機械学習(DML)におけるビザンチン攻撃とプライバシリークに共同で対処することが重要な問題となっている。 一般的な戦略は、Byzantine-Resilientアグリゲーションルールと差分プライバシーメカニズムの統合である。 しかし、これらの手法を組み込むことで、しばしばモデルの精度が著しく低下する。 この問題に対処するため,Byzantine攻撃に対するプライバシー保護とレジリエンスを同時に確保しつつ,モデル精度の高い分散DMLフレームワークである ImprovDML を提案する。 このフレームワークは、通常の(非ビザンチン)エージェントの凸殻内の点を計算し、各反復で弾力的なアグリゲーションを計算できるある種の弾力性ベクトルコンセンサスアルゴリズムを利用する。 次に、プライバシー保護の勾配に多変量ガウスノイズを導入する。 本研究では,非凸条件下での漸近的学習誤差境界の収束保証と導出を行う。 プライバシ分析では、入力間のユークリッド距離に基づいて、プライバシー保護を定量化する集中型ジオプライバシの概念を採用する。 プライバシー保護とモデル精度のトレードオフを、差分プライバシーと比較して改善できることを実証する。 最後に, 数値シミュレーションによる理論的結果の検証を行った。

関連論文リスト

• Differentially Private Distribution Release of Gaussian Mixture Models via KL-Divergence Minimization [5.615206798152645]
  本稿では,GMMパラメータに厳格な乱摂動を付加するDP機構を提案する。 当社のアプローチは、高いユーティリティを維持しながら、強力なプライバシ保証を実現する。
  論文  参考訳（メタデータ） (2025-06-04T00:40:24Z)
• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)
• Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy [51.11280118806893]
  サーバが複数のユーザの協調的なデータ分析を,プライバシの懸念と限られた通信能力で調整する,フェデレートされたデータ分析問題を考える。 有限出力空間を有する離散値機構の局所的差分プライバシー保証を$f$-differential privacy (DP) レンズを用いて検討する。 より具体的には、様々な離散的評価機構の厳密な$f$-DP保証を導出することにより、既存の文献を前進させる。
  論文  参考訳（メタデータ） (2023-02-19T16:58:53Z)
• On the Privacy-Robustness-Utility Trilemma in Distributed Learning [7.778461949427662]
  本稿では,少数の対向マシンに対してロバスト性を保証するアルゴリズムによって得られた誤差を,まず厳密に解析する。 私たちの分析は、プライバシ、堅牢性、ユーティリティの基本的なトレードオフを示しています。
  論文  参考訳（メタデータ） (2023-02-09T17:24:18Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Privacy-Preserving Distributed Expectation Maximization for Gaussian Mixture Model using Subspace Perturbation [4.2698418800007865]
  フェデレーション学習は、プライベートデータの送信を許可せず、中間更新のみを許可するため、プライバシー上の懸念によって動機付けられている。 我々は、各ステップの更新を安全に計算できる、完全に分散化されたプライバシ保存ソリューションを提案する。 数値検証により,提案手法は,精度とプライバシの両面において,既存手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-09-16T09:58:03Z)
• Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
  分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。 データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
  論文  参考訳（メタデータ） (2022-05-08T14:38:23Z)
• Bridging Differential Privacy and Byzantine-Robustness via Model Aggregation [27.518542543750367]
  本稿では,差分プライバシーとビザンチネロバストネスという,連邦学習における対立する問題に対処することを目的とする。 標準メカニズムは送信DP、エンベロップスエンベロップスエンベロップスエンベロープ(エンベロップスエンベロープ、エンベロープエンベロープアグリゲーション)を追加し、ビザンツ攻撃を防御する。 提案手法の影響は, その頑健なモデルアグリゲーションによって抑制されていることを示す。
  論文  参考訳（メタデータ） (2022-04-29T23:37:46Z)
• Differential Privacy and Byzantine Resilience in SGD: Do They Add Up? [6.614755043607777]
  本研究では,差分プライバシ(DP)と$(alpha,f)$-ビザンチンレジリエンスを併用して,SGD(Gradient Descent)学習アルゴリズムの分散実装が実現可能であるかを検討する。 これらの手法の直接的な構成は、結果のSGDアルゴリズムがMLモデルのパラメータ数に依存することを保証していることを示す。
  論文  参考訳（メタデータ） (2021-02-16T14:10:38Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。