論文の概要: Locally Differentially Private Gradient Tracking for Distributed Online
Learning over Directed Graphs
- arxiv url: http://arxiv.org/abs/2310.16105v1
- Date: Tue, 24 Oct 2023 18:15:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 18:49:48.075167
- Title: Locally Differentially Private Gradient Tracking for Distributed Online
Learning over Directed Graphs
- Title（参考訳）: グラフを用いた分散オンライン学習のための局所的個人的勾配追跡
- Authors: Ziqin Chen and Yongqiang Wang
- Abstract要約: 本稿では,局所的に個人差分な勾配追跡に基づく分散オンライン学習アルゴリズムを提案する。
解析の結果,提案アルゴリズムは平均二乗から最適解へと収束していることがわかった。
これは、分散オンライン学習において、学習精度と厳密なローカル差分プライバシーを同時に保証する最初の結果である。
- 参考スコア（独自算出の注目度）: 2.1271873498506038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed online learning has been proven extremely effective in solving
large-scale machine learning problems involving streaming data. However,
information sharing between learners in distributed learning also raises
concerns about the potential leakage of individual learners' sensitive data. To
mitigate this risk, differential privacy, which is widely regarded as the "gold
standard" for privacy protection, has been widely employed in many existing
results on distributed online learning. However, these results often face a
fundamental tradeoff between learning accuracy and privacy. In this paper, we
propose a locally differentially private gradient tracking based distributed
online learning algorithm that successfully circumvents this tradeoff. Our
analysis shows that the proposed algorithm converges in mean square to the
exact optimal solution while ensuring rigorous local differential privacy, with
the cumulative privacy budget guaranteed to be finite even when the number of
iterations tends to infinity. The algorithm is applicable even when the
communication graph among learners is directed. To the best of our knowledge,
this is the first result that simultaneously ensures learning accuracy and
rigorous local differential privacy in distributed online learning over
directed graphs. We evaluate our algorithm's performance by using multiple
benchmark machine-learning applications, including logistic regression on the
"Mushrooms" dataset and CNN-based image classification on the "MNIST" and
"CIFAR-10" datasets, respectively. The experimental results confirm that the
proposed algorithm outperforms existing counterparts in both training and
testing accuracies.
- Abstract（参考訳）: 分散オンライン学習は、ストリーミングデータを含む大規模な機械学習問題を解決するのに極めて効果的であることが証明されている。
しかし、分散学習における学習者間の情報共有は、個々の学習者のセンシティブなデータの漏洩を懸念させる。
このリスクを軽減するため、分散オンライン学習において、プライバシー保護の「金の標準」として広く見なされている差分プライバシーが、多くの既存の結果に広く採用されている。
しかし、これらの結果はしばしば、学習精度とプライバシーの根本的なトレードオフに直面します。
本稿では,このトレードオフを回避するために,局所的微分勾配追跡に基づく分散オンライン学習アルゴリズムを提案する。
解析の結果,提案アルゴリズムは局所的差分プライバシーの厳密性を確保しつつ,平均二乗に収束し,反復回数が無限大となる場合においても,累積的プライバシー予算が有限であることが保証された。
このアルゴリズムは、学習者間のコミュニケーショングラフが向けられた場合でも適用できる。
私たちの知る限りでは、有向グラフ上の分散オンライン学習において、学習精度と厳密な局所微分プライバシーを同時に確保する最初の結果です。
我々は,Mushroomsデータセットのロジスティック回帰と,MNISTデータセットとCIFAR-10データセットのCNN画像分類を含む,複数のベンチマーク機械学習アプリケーションを用いて,アルゴリズムの性能を評価する。
実験の結果,提案アルゴリズムが既存のアルゴリズムよりも精度が向上していることが確認された。
関連論文リスト
- Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。
これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。
独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-08-16T13:32:43Z) - Online Distributed Learning with Quantized Finite-Time Coordination [0.4910937238451484]
私たちの設定では、エージェントのセットは、ストリーミングデータから学習モデルを協調的にトレーニングする必要があります。
本稿では,量子化された有限時間協調プロトコルに依存する分散アルゴリズムを提案する。
提案アルゴリズムの性能を,オンラインソリューションからの平均距離の観点から解析する。
論文 参考訳（メタデータ） (2023-07-13T08:36:15Z) - Locally Differentially Private Distributed Online Learning with Guaranteed Optimality [1.800614371653704]
本稿では,分散オンライン学習における差分プライバシーと学習精度を両立させる手法を提案する。
予想される即時後悔の減少を確実にする一方で、このアプローチは有限累積プライバシー予算を同時に確保することができる。
私たちの知る限りでは、このアルゴリズムは厳密な局所的な差分プライバシーと学習精度の両方を確実にする最初のアルゴリズムです。
論文 参考訳（メタデータ） (2023-06-25T02:05:34Z) - Preserving Privacy in Federated Learning with Ensemble Cross-Domain
Knowledge Distillation [22.151404603413752]
Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。
既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。
我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
論文 参考訳（メタデータ） (2022-09-10T05:20:31Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - A Graph Federated Architecture with Privacy Preserving Learning [48.24121036612076]
フェデレーション学習は、複数のエージェントと連携してグローバルモデルを見つける中央プロセッサを含む。
複数のクライアントに接続されたサーバの現在のアーキテクチャは、サーバの通信障害や計算過負荷に非常に敏感です。
暗号と差分プライバシーの概念を使用して、グラフ構造に拡張するフェデレーション学習アルゴリズムを民営化します。
論文 参考訳（メタデータ） (2021-04-26T09:51:24Z) - Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
データセットバイアスは、機械学習における不公平な原因の1つです。
不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。
また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
論文 参考訳（メタデータ） (2021-04-14T14:20:22Z) - On Deep Learning with Label Differential Privacy [54.45348348861426]
ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。
本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
論文 参考訳（メタデータ） (2021-02-11T15:09:06Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。
協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
論文 参考訳（メタデータ） (2020-06-16T19:31:52Z) - Private Dataset Generation Using Privacy Preserving Collaborative
Learning [0.0]
この研究は、エッジで機械学習モデルをトレーニングするためのプライバシ保護のFedNNフレームワークを導入している。
MNISTデータセットを用いたシミュレーション結果は,フレームワークの有効性を示す。
論文 参考訳（メタデータ） (2020-04-28T15:35:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。