論文の概要: Differential Privacy Analysis of Decentralized Gossip Averaging under Varying Threat Models
- arxiv url: http://arxiv.org/abs/2505.19969v1
- Date: Mon, 26 May 2025 13:31:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:43.464135
- Title: Differential Privacy Analysis of Decentralized Gossip Averaging under Varying Threat Models
- Title（参考訳）: 脆弱性モデルに基づく分散型ゴシップ平均化の差分プライバシー解析
- Authors: Antti Koskela, Tejas Kulkarni,
- Abstract要約: 本稿では,ノードレベルの付加雑音を用いた分散化ゴシップ平均化アルゴリズムの新たなプライバシー解析法を提案する。
私たちの主な貢献は、これらのシナリオにおけるプライバシー漏洩を正確に特徴付ける新しい分析フレームワークです。
従来の手法に比べてDP境界が優れていることを示す数値計算結果を用いて,本分析を検証した。
- 参考スコア（独自算出の注目度）: 6.790905400046194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fully decentralized training of machine learning models offers significant advantages in scalability, robustness, and fault tolerance. However, achieving differential privacy (DP) in such settings is challenging due to the absence of a central aggregator and varying trust assumptions among nodes. In this work, we present a novel privacy analysis of decentralized gossip-based averaging algorithms with additive node-level noise, both with and without secure summation over each node's direct neighbors. Our main contribution is a new analytical framework based on a linear systems formulation that accurately characterizes privacy leakage across these scenarios. This framework significantly improves upon prior analyses, for example, reducing the R\'enyi DP parameter growth from $O(T^2)$ to $O(T)$, where $T$ is the number of training rounds. We validate our analysis with numerical results demonstrating superior DP bounds compared to existing approaches. We further illustrate our analysis with a logistic regression experiment on MNIST image classification in a fully decentralized setting, demonstrating utility comparable to central aggregation methods.
- Abstract（参考訳）: 機械学習モデルの完全な分散トレーニングは、スケーラビリティ、堅牢性、フォールトトレランスにおいて大きなアドバンテージを提供する。
しかし,集中アグリゲータの欠如や,ノード間の信頼関係の相違により,このような環境での差分プライバシー(DP)の実現は困難である。
そこで本研究では,各ノードの直接的隣り合わせを安全に集計することなく,ノードレベルの付加雑音を伴う分散化ゴシップ平均化アルゴリズムの新たなプライバシ解析を行う。
我々の主な貢献は、これらのシナリオ間でのプライバシー漏洩を正確に特徴付ける線形システムの定式化に基づく、新しい分析フレームワークである。
このフレームワークは、例えば、R\enyi DPパラメータの成長率を$O(T^2)$から$O(T)$に下げるなど、事前分析で大幅に改善する。
従来の手法と比較してDP境界が優れていることを示す数値計算結果を用いて,本分析を検証した。
さらに,MNIST画像分類のロジスティック回帰実験による解析を,集中集約法に匹敵する実用性を実証した。
関連論文リスト
- Dyn-D$^2$P: Dynamic Differentially Private Decentralized Learning with Provable Utility Guarantee [36.82471440872803]
動的微分独立分散DP手法(Dyn-D$2$P)を提案する。
Dyn-D$2$P は勾配収束に基づく勾配クリッピング境界と雑音レベルを動的に調整する。
ベンチマークデータセットの実験では、固定レベルノイズを用いた場合よりもDyn-D$2$の方が優れていることが示されている。
論文 参考訳（メタデータ） (2025-05-10T13:57:57Z) - A Bayesian Approach to Data Point Selection [24.98069363998565]
データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。
既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。
DPSに対する新しいベイズ的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-06T09:04:13Z) - Stability and Generalization of the Decentralized Stochastic Gradient
Descent Ascent Algorithm [80.94861441583275]
本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。
本研究は,D-SGDAの一般化における各因子の影響を解析した。
また、最適凸凹設定を得るために一般化とバランスをとる。
論文 参考訳（メタデータ） (2023-10-31T11:27:01Z) - A Robustness Analysis of Blind Source Separation [91.3755431537592]
ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。
このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。
定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
論文 参考訳（メタデータ） (2023-03-17T16:30:51Z) - Connect the Dots: Tighter Discrete Approximations of Privacy Loss
Distributions [49.726408540784334]
PLDベースの会計の鍵となる問題は、特定の個別サポートに対してPLDと(潜在的に連続的な)PLDをどのように近似するかである。
悲観的推定はすべての悲観的推定の中で最良であることを示す。
論文 参考訳（メタデータ） (2022-07-10T04:25:02Z) - On the Pitfalls of Heteroscedastic Uncertainty Estimation with
Probabilistic Neural Networks [23.502721524477444]
このアプローチがいかにして非常に貧弱だが安定な推定に繋がるかを示す合成例を示す。
問題を悪化させる特定の条件とともに、犯人をログライクな損失とみなす。
我々は、損失に対する各データポイントの寄与を、$beta$-exponentiated variance estimateによって重み付けする、$beta$-NLLと呼ばれる別の定式化を提案する。
論文 参考訳（メタデータ） (2022-03-17T08:46:17Z) - Revisiting PGD Attacks for Stability Analysis of Large-Scale Nonlinear
Systems and Perception-Based Control [2.2725929250900947]
我々は,汎用ROA解析ツールとして,対人学習コミュニティで開発された予測勾配降下法(PGD)を調整した。
ROA解析は、最悪の初期条件を見つけることを目標とする制約付き問題として近似できることを示す。
本稿では,PGDに基づく2つの反復的手法について述べる。
論文 参考訳（メタデータ） (2022-01-03T18:46:58Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z) - Optimising cost vs accuracy of decentralised analytics in fog computing
environments [0.4898659895355355]
Fog Computingの基本概念であるデータ重力は、データ分析のための計算の分散化に向けられている。
本稿では,この連続体の最適動作点を求める分析フレームワークを提案する。
シミュレーションにより,モデルが最適トレードオフを正確に予測できることを示し,完全集中化と完全分散化の中間点となることが多い。
論文 参考訳（メタデータ） (2020-12-09T19:05:44Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z) - A Unified Theory of Decentralized SGD with Changing Topology and Local
Updates [70.9701218475002]
分散通信方式の統一収束解析を導入する。
いくつかの応用に対して普遍収束率を導出する。
私たちの証明は弱い仮定に依存している。
論文 参考訳（メタデータ） (2020-03-23T17:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。