論文の概要: Bridging Differential Privacy and Byzantine-Robustness via Model Aggregation

• arxiv url: http://arxiv.org/abs/2205.00107v1
• Date: Fri, 29 Apr 2022 23:37:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 16:32:55.444834
• Title: Bridging Differential Privacy and Byzantine-Robustness via Model Aggregation
• Title（参考訳）: モデル集約によるByzantine-Robustnessのブリッジング
• Authors: Heng Zhu, Qing Ling
• Abstract要約: 本稿では,差分プライバシーとビザンチネロバストネスという,連邦学習における対立する問題に対処することを目的とする。 標準メカニズムは送信DP、エンベロップスエンベロップスエンベロップスエンベロープ(エンベロップスエンベロープ、エンベロープエンベロープアグリゲーション)を追加し、ビザンツ攻撃を防御する。 提案手法の影響は, その頑健なモデルアグリゲーションによって抑制されていることを示す。
• 参考スコア（独自算出の注目度）: 27.518542543750367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper aims at jointly addressing two seemly conflicting issues in federated learning: differential privacy (DP) and Byzantine-robustness, which are particularly challenging when the distributed data are non-i.i.d. (independent and identically distributed). The standard DP mechanisms add noise to the transmitted messages, and entangles with robust stochastic gradient aggregation to defend against Byzantine attacks. In this paper, we decouple the two issues via robust stochastic model aggregation, in the sense that our proposed DP mechanisms and the defense against Byzantine attacks have separated influence on the learning performance. Leveraging robust stochastic model aggregation, at each iteration, each worker calculates the difference between the local model and the global one, followed by sending the element-wise signs to the master node, which enables robustness to Byzantine attacks. Further, we design two DP mechanisms to perturb the uploaded signs for the purpose of privacy preservation, and prove that they are $(\epsilon,0)$-DP by exploiting the properties of noise distributions. With the tools of Moreau envelop and proximal point projection, we establish the convergence of the proposed algorithm when the cost function is nonconvex. We analyze the trade-off between privacy preservation and learning performance, and show that the influence of our proposed DP mechanisms is decoupled with that of robust stochastic model aggregation. Numerical experiments demonstrate the effectiveness of the proposed algorithm.
• Abstract（参考訳）: 本稿では,分散データの非i.i.d.(非独立かつ同一分布)においては特に困難である差分プライバシー (dp) とビザンチン・ロバストネス (byzantine-robustness) という,連合学習における相反する2つの問題に対処することを目的とする。 標準のDPメカニズムは送信メッセージにノイズを付加し、ビザンツ攻撃に対して頑健な確率勾配の集約で絡み合う。 本稿では,提案するdp機構とビザンチン攻撃に対する防御が学習性能に与える影響を分離したという意味で,ロバストな確率的モデルアグリゲーションによって2つの問題を分離する。 堅牢な確率的モデルアグリゲーションを各イテレーションで活用することで、各ワーカはローカルモデルとグローバルモデルの違いを計算し、続いて、要素単位のサインをマスタノードに送信することで、ビザンチン攻撃に対するロバスト性を実現する。 さらに,プライバシ保護のためにアップロードされた符号を摂動させるdp機構を2つ設計し,ノイズ分布の特性を利用して$(\epsilon,0)$-dpであることを証明した。 モロー包絡と近点射影のツールを用いて、コスト関数が非凸であるときに提案アルゴリズムの収束を確立する。 本研究では,プライバシ保護と学習性能のトレードオフを分析し,提案するdp機構の影響をロバストな確率モデルアグリゲーションの影響と分離することを示す。 数値実験により提案アルゴリズムの有効性が示された。

関連論文リスト

• Indiscriminate Disruption of Conditional Inference on Multivariate Gaussians [60.22542847840578]
  敵対的機械学習の進歩にもかかわらず、敵対者の存在下でのガウスモデルに対する推論は特に過小評価されている。 我々は,意思決定者の条件推論とその後の行動の妨害を希望する自己関心のある攻撃者について,一組の明らかな変数を乱すことで検討する。 検出を避けるため、攻撃者は、破損した証拠の密度によって可否が決定される場合に、攻撃が可否を示すことを望んでいる。
  論文  参考訳（メタデータ） (2024-11-21T17:46:55Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Distributional Shift-Aware Off-Policy Interval Estimation: A Unified Error Quantification Framework [8.572441599469597]
  本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。 目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。 提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
  論文  参考訳（メタデータ） (2023-09-23T06:35:44Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• On the Privacy-Robustness-Utility Trilemma in Distributed Learning [7.778461949427662]
  本稿では,少数の対向マシンに対してロバスト性を保証するアルゴリズムによって得られた誤差を,まず厳密に解析する。 私たちの分析は、プライバシ、堅牢性、ユーティリティの基本的なトレードオフを示しています。
  論文  参考訳（メタデータ） (2023-02-09T17:24:18Z)
• Differentially Private Counterfactuals via Functional Mechanism [47.606474009932825]
  本稿では,デプロイされたモデルや説明セットに触れることなく,差分的プライベート・カウンティファクト(DPC)を生成する新しいフレームワークを提案する。 特に、ノイズの多いクラスプロトタイプを構築するための機能機構を備えたオートエンコーダを訓練し、次に潜伏プロトタイプからDPCを導出する。
  論文  参考訳（メタデータ） (2022-08-04T20:31:22Z)
• Additive Logistic Mechanism for Privacy-Preserving Self-Supervised Learning [26.783944764936994]
  ニューラルネットワークの重みを自己教師付き学習アルゴリズムでトレーニングする際のプライバシーリスクについて検討する。 我々は、微調整後の重み付けにノイズを加えるプライバシー保護アルゴリズムを設計する。 提案した保護アルゴリズムは,攻撃精度をランダムな推測にほぼ等しい50%に効果的に低減できることを示す。
  論文  参考訳（メタデータ） (2022-05-25T01:33:52Z)
• Combining Differential Privacy and Byzantine Resilience in Distributed SGD [9.14589517827682]
  本稿では,分散SGDアルゴリズムが標準パラメータサーバアーキテクチャにおいて,どの程度正確なモデルを学習できるかについて検討する。 特に$(alpha,f)$-Byzantineのレジリエンスに依存しているものは、正直な労働者がDPを強制すると無効となる。
  論文  参考訳（メタデータ） (2021-10-08T09:23:03Z)
• Learning from History for Byzantine Robust Optimization [52.68913869776858]
  分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。 既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
  論文  参考訳（メタデータ） (2020-12-18T16:22:32Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。