論文の概要: Privacy Preserving Gossip Learning
- arxiv url: http://arxiv.org/abs/2609.14778v1
- Date: Sun, 13 Sep 2026 20:37:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.967014
- Title: Privacy Preserving Gossip Learning
- Title(参考訳): ゴシップ学習のためのプライバシ保護
- Abstract要約: 本稿では、各エージェントが1つのプライベートサンプルと共有モデルを保持する分散プライバシ保存学習アルゴリズムを提案する。
これは、各エージェントに3つの役割を与える: (i) モデルパラメータを更新する学習者、 (ii) サンプルが現在のイテレーションで学習される教師、 (iii) サンプルが既に学習されている保護されたエージェント。
- 参考スコア(独自算出の注目度): 0.34410212782758043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a decentralized privacy-preserving learning algorithm in which each agent holds a single private sample and a shared model. Samples are learned sequentially, and each update must preserve the endpoint mappings at previously learned samples while protecting private data. This gives each agent three roles: (i) a learner that updates the model parameters, (ii) a teacher whose sample is learned at the current iteration, and (iii) a protected agent whose sample has already been learned. We build on Tuning without Forgetting (TwF) method to preserve previously learned mappings and show that TwF provides an indistinguishability guarantee for the learner whenever the set of protected agents contains another sample with the same label. For the teacher, we formulate a minimax optimal control problem that models the differential privacy noise as a worst-case disturbance to prevent performance loss while maintaining the same level of privacy for the gradient. For the protected agents, we compute the projections locally and aggregate them using a private push-sum gossip protocol. We prove geometric convergence of the decentralized gossip algorithm and of the distributed projection for TwF.
- Abstract(参考訳): 本稿では、各エージェントが1つのプライベートサンプルと共有モデルを保持する分散プライバシ保存学習アルゴリズムを提案する。
サンプルはシーケンシャルに学習され、各更新は、プライベートデータを保護しながら、以前に学んだサンプルのエンドポイントマッピングを保持する必要がある。
これは各エージェントに3つの役割を与える。
(i)モデルパラメータを更新する学習者。
(二 サンプルを現段階で習う教師、及び
三 サンプルを既に学習した保護剤
我々は、事前に学習したマッピングを保存するためにTwF(TwF)メソッドを構築し、保護されたエージェントの集合が同じラベルを持つ別のサンプルを含む場合、TwFが学習者に識別不可能な保証を提供することを示す。
教師にとって、差分プライバシーノイズを最悪のケース障害としてモデル化する最小限の最適制御問題を定式化し、勾配のプライバシーレベルを維持しつつ、性能損失を防止する。
保護されたエージェントに対しては、プロジェクションをローカルに計算し、プライベートなpush-sum gossipプロトコルを用いて集約する。
分散化ゴシップアルゴリズムとTwFの分散投影の幾何収束性を証明する。
関連論文リスト
- Temper-Then-Tilt: Principled Unlearning for Generative Models through Tempering and Classifier Guidance [51.532841645285835]
本研究では,タスクを目標分布に対する密度比推定としてフレーミングすることで,大規模生成モデルにおける機械学習について検討する。
左折集合がシャープで集中したデータ分布を表す場合、有限サンプルで忠実に解けないことを示す。
本稿では,基本モデルを凍結し,二段階の推論手法を適用したTemper-Then-Tilt Unlearning(T3-Unlearning)を提案する。
論文 参考訳(メタデータ) (2026-02-10T19:08:40Z) - Auditing Approximate Machine Unlearning for Differentially Private Models [14.700807572189412]
筆者らは, 学習アルゴリズムの近似を適用した上で, 未学習および保持サンプルのプライバシーリスクを監査するための総合的アプローチを提案する。
実験結果から、既存の近似機械学習アルゴリズムは、差分プライベートモデルに対する保持サンプルのプライバシーを不注意に損なう可能性があることが示唆された。
論文 参考訳(メタデータ) (2025-08-26T04:29:33Z) - Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
本稿では,PseudoProbability Unlearning (PPU)を提案する。
提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
論文 参考訳(メタデータ) (2024-11-04T21:27:06Z) - LLM-based Privacy Data Augmentation Guided by Knowledge Distillation
with a Distribution Tutor for Medical Text Classification [67.92145284679623]
ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。
理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
論文 参考訳(メタデータ) (2024-02-26T11:52:55Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳(メタデータ) (2023-03-07T14:11:01Z) - Fine-Tuning with Differential Privacy Necessitates an Additional
Hyperparameter Search [38.83524780461911]
トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。
ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
論文 参考訳(メタデータ) (2022-10-05T11:32:49Z) - Privacy Amplification via Shuffled Check-Ins [2.3333090554192615]
シャッフルチェックインと呼ばれる分散計算のためのプロトコルについて検討する。
信頼できるシャフラー以上の信頼の前提を必要とせずに、強力なプライバシー保証を実現する。
シャッフルされたチェックインは、プライバシーの強化によって、厳格なプライバシー保証を実現する。
論文 参考訳(メタデータ) (2022-06-07T09:55:15Z) - Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳(メタデータ) (2022-06-06T13:49:37Z) - Renyi Differential Privacy of the Subsampled Shuffle Model in
Distributed Learning [7.197592390105457]
クライアントは、プライバシを必要とするサーバとのインタラクションを通じて、学習モデルを反復的に構築する分散学習フレームワークで、プライバシを研究する。
最適化とフェデレートラーニング(FL)パラダイムによって動機付けられ、各ラウンドで少数のデータサンプルがランダムにサブサンプリングされた場合に焦点を当てる。
より強力なローカルプライバシ保証を得るために,各クライアントがローカルディファレンシャル・プライベート(LDP)機構を用いて応答をランダム化するシャッフルプライバシ・モデルを用いてこれを検証した。
論文 参考訳(メタデータ) (2021-07-19T11:43:24Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳(メタデータ) (2021-06-25T14:47:19Z) - GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model [8.87104231451079]
本稿では、GRAFFLと呼ばれる、最初の勾配のない連邦学習フレームワークを提案する。
参加する各機関から得られた暗黙の情報を用いて、パラメータの後方分布を学習する。
本稿では,GRAFFLに基づくベイズ混合モデルを提案する。
論文 参考訳(メタデータ) (2020-08-29T07:19:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。