論文の概要: Locally Differentially Private Distributed Online Learning with Guaranteed Optimality
- arxiv url: http://arxiv.org/abs/2306.14094v2
- Date: Tue, 25 Jun 2024 16:07:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 21:19:43.576009
- Title: Locally Differentially Private Distributed Online Learning with Guaranteed Optimality
- Title（参考訳）: 最適性を保証したローカル分散オンライン学習
- Authors: Ziqin Chen, Yongqiang Wang,
- Abstract要約: 本稿では,分散オンライン学習における差分プライバシーと学習精度を両立させる手法を提案する。
予想される即時後悔の減少を確実にする一方で、このアプローチは有限累積プライバシー予算を同時に確保することができる。
私たちの知る限りでは、このアルゴリズムは厳密な局所的な差分プライバシーと学習精度の両方を確実にする最初のアルゴリズムです。
- 参考スコア（独自算出の注目度）: 1.800614371653704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed online learning is gaining increased traction due to its unique ability to process large-scale datasets and streaming data. To address the growing public awareness and concern on privacy protection, plenty of algorithms have been proposed to enable differential privacy in distributed online optimization and learning. However, these algorithms often face the dilemma of trading learning accuracy for privacy. By exploiting the unique characteristics of online learning, this paper proposes an approach that tackles the dilemma and ensures both differential privacy and learning accuracy in distributed online learning. More specifically, while ensuring a diminishing expected instantaneous regret, the approach can simultaneously ensure a finite cumulative privacy budget, even in the infinite time horizon. To cater for the fully distributed setting, we adopt the local differential-privacy framework, which avoids the reliance on a trusted data curator, and, hence, provides stronger protection than the classic "centralized" (global) differential privacy. To the best of our knowledge, this is the first algorithm that successfully ensures both rigorous local differential privacy and learning accuracy. The effectiveness of the proposed algorithm is evaluated using machine learning tasks, including logistic regression on the the "mushrooms" datasets and CNN-based image classification on the "MNIST" and "CIFAR-10" datasets.
- Abstract（参考訳）: 大規模なデータセットとストリーミングデータを処理するというユニークな能力のおかげで、分散オンライン学習が勢いを増している。
プライバシー保護に対する大衆の認識と関心の高まりに対処するため、分散オンライン最適化と学習において、差分プライバシーを可能にするために、多くのアルゴリズムが提案されている。
しかし、これらのアルゴリズムは、プライバシのための学習精度の取引のジレンマに直面することが多い。
オンライン学習の特徴を生かして,このジレンマに対処し,分散オンライン学習における差分プライバシーと学習精度を両立させる手法を提案する。
より具体的には、予想される即時後悔を減らしながら、無限の時間的地平の下でも、このアプローチは有限累積プライバシー予算を同時に確保できる。
完全に分散された設定に対応するため、信頼されたデータキュレーターへの依存を回避し、古典的な「分散(グローバル)」差分プライバシーよりも強力な保護を提供する、ローカルな差分プライバシフレームワークを採用する。
私たちの知る限りでは、このアルゴリズムは厳密な局所的な差分プライバシーと学習精度の両方を確実にする最初のアルゴリズムです。
提案アルゴリズムの有効性を機械学習タスクを用いて評価し,MNISTデータセットとCIFAR-10データセットのCNN画像分類と"mushrooms"データセットのロジスティック回帰を行った。
関連論文リスト
- Masked Differential Privacy [64.32494202656801]
本稿では,差分プライバシーを適用した機密領域を制御できる「マスク型差分プライバシー(DP)」という効果的なアプローチを提案する。
提案手法はデータに基づいて選択的に動作し,DPアプリケーションや差分プライバシーをデータサンプル内の他のプライバシー技術と組み合わせることなく,非感性時間領域を定義できる。
論文 参考訳（メタデータ） (2024-10-22T15:22:53Z) - Locally Differentially Private Gradient Tracking for Distributed Online
Learning over Directed Graphs [2.1271873498506038]
本稿では,局所的に個人差分な勾配追跡に基づく分散オンライン学習アルゴリズムを提案する。
提案アルゴリズムは,厳密な局所差分プライバシーを確保しつつ,平均二乗を最適解に収束させることを証明した。
論文 参考訳（メタデータ） (2023-10-24T18:15:25Z) - Shuffled Differentially Private Federated Learning for Time Series Data
Analytics [10.198481976376717]
時系列データのためのプライバシー保護フェデレーション学習アルゴリズムを開発した。
具体的には、クライアントにプライバシ保護信頼境界を拡張するために、ローカルな差分プライバシーを使用します。
また、局所的な差分プライバシーを活用することによって生じる精度低下を軽減し、プライバシーの増幅を実現するためのシャッフル手法も取り入れた。
論文 参考訳（メタデータ） (2023-07-30T10:30:38Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。
データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文 参考訳（メタデータ） (2022-05-08T14:38:23Z) - Personalization Improves Privacy-Accuracy Tradeoffs in Federated
Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。
合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文 参考訳（メタデータ） (2022-02-10T20:44:44Z) - Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。
すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。
本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
論文 参考訳（メタデータ） (2020-10-23T10:35:35Z) - LDP-FL: Practical Private Aggregation in Federated Learning with Local
Differential Privacy [20.95527613004989]
フェデレーション学習は、実際のデータではなく、局所的な勾配情報を収集するプライバシー保護のための一般的なアプローチである。
それまでの作業は3つの問題により現実的な解決には至らなかった。
最後に、ディープラーニングモデルにおける重みの高次元性により、プライバシー予算が爆発的に膨らみます。
論文 参考訳（メタデータ） (2020-07-31T01:08:57Z) - Differentially private cross-silo federated learning [16.38610531397378]
厳密なプライバシは、分散機械学習において最重要事項である。
本稿では,いわゆるクロスサイロ・フェデレーション・ラーニング・セッティングにおいて,加算準同型セキュア和プロトコルと差分プライバシーを併用する。
提案手法により,非分散設定に匹敵する予測精度が得られることを示す。
論文 参考訳（メタデータ） (2020-07-10T18:15:10Z) - SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。
協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
論文 参考訳（メタデータ） (2020-06-16T19:31:52Z) - Privacy-preserving Traffic Flow Prediction: A Federated Learning
Approach [61.64006416975458]
本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。
FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。
FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
論文 参考訳（メタデータ） (2020-03-19T13:07:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。