論文の概要: Locally Differentially Private Gradient Tracking for Distributed Online
Learning over Directed Graphs
- arxiv url: http://arxiv.org/abs/2310.16105v2
- Date: Sun, 29 Oct 2023 17:34:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 19:26:20.031242
- Title: Locally Differentially Private Gradient Tracking for Distributed Online
Learning over Directed Graphs
- Title（参考訳）: グラフを用いた分散オンライン学習のための局所的個人的勾配追跡
- Authors: Ziqin Chen and Yongqiang Wang
- Abstract要約: 本稿では,局所的に個人差分な勾配追跡に基づく分散オンライン学習アルゴリズムを提案する。
提案アルゴリズムは,厳密な局所差分プライバシーを確保しつつ,平均二乗を最適解に収束させることを証明した。
- 参考スコア（独自算出の注目度）: 2.1271873498506038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed online learning has been proven extremely effective in solving
large-scale machine learning problems over streaming data. However, information
sharing between learners in distributed learning also raises concerns about the
potential leakage of individual learners' sensitive data. To mitigate this
risk, differential privacy, which is widely regarded as the "gold standard" for
privacy protection, has been widely employed in many existing results on
distributed online learning. However, these results often face a fundamental
tradeoff between learning accuracy and privacy. In this paper, we propose a
locally differentially private gradient tracking based distributed online
learning algorithm that successfully circumvents this tradeoff. We prove that
the proposed algorithm converges in mean square to the exact optimal solution
while ensuring rigorous local differential privacy, with the cumulative privacy
budget guaranteed to be finite even when the number of iterations tends to
infinity. The algorithm is applicable even when the communication graph among
learners is directed. To the best of our knowledge, this is the first result
that simultaneously ensures learning accuracy and rigorous local differential
privacy in distributed online learning over directed graphs. We evaluate our
algorithm's performance by using multiple benchmark machine-learning
applications, including logistic regression of the "Mushrooms" dataset and
CNN-based image classification of the "MNIST" and "CIFAR-10" datasets,
respectively. The experimental results confirm that the proposed algorithm
outperforms existing counterparts in both training and testing accuracies.
- Abstract（参考訳）: 分散オンライン学習は、ストリーミングデータよりも大規模な機械学習問題を解決するのに極めて効果的であることが証明されている。
しかし、分散学習における学習者間の情報共有は、個々の学習者のセンシティブなデータの漏洩を懸念させる。
このリスクを軽減するため、分散オンライン学習において、プライバシー保護の「金の標準」として広く見なされている差分プライバシーが、多くの既存の結果に広く採用されている。
しかし、これらの結果はしばしば、学習精度とプライバシーの根本的なトレードオフに直面します。
本稿では,このトレードオフを回避するために,局所的微分勾配追跡に基づく分散オンライン学習アルゴリズムを提案する。
提案手法は厳密な局所微分プライバシを確保しつつ,完全最適解に平均二乗収束し,累積プライバシ予算は無限大になりがちであっても有限であることが保証される。
このアルゴリズムは、学習者間のコミュニケーショングラフが向けられた場合でも適用できる。
私たちの知る限りでは、有向グラフ上の分散オンライン学習において、学習精度と厳密な局所微分プライバシーを同時に確保する最初の結果です。
我々は,Mushroomsデータセットのロジスティック回帰と,MNISTデータセットとCIFAR-10データセットのCNN画像分類を含む,複数のベンチマーク機械学習アプリケーションを用いて,アルゴリズムの性能を評価する。
実験の結果,提案アルゴリズムが既存のアルゴリズムよりも精度が向上していることが確認された。
関連論文リスト
- Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。
これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。
独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-08-16T13:32:43Z) - Online Distributed Learning with Quantized Finite-Time Coordination [0.4910937238451484]
私たちの設定では、エージェントのセットは、ストリーミングデータから学習モデルを協調的にトレーニングする必要があります。
本稿では,量子化された有限時間協調プロトコルに依存する分散アルゴリズムを提案する。
提案アルゴリズムの性能を,オンラインソリューションからの平均距離の観点から解析する。
論文 参考訳（メタデータ） (2023-07-13T08:36:15Z) - Locally Differentially Private Distributed Online Learning with Guaranteed Optimality [1.800614371653704]
本稿では,分散オンライン学習における差分プライバシーと学習精度を両立させる手法を提案する。
予想される即時後悔の減少を確実にする一方で、このアプローチは有限累積プライバシー予算を同時に確保することができる。
私たちの知る限りでは、このアルゴリズムは厳密な局所的な差分プライバシーと学習精度の両方を確実にする最初のアルゴリズムです。
論文 参考訳（メタデータ） (2023-06-25T02:05:34Z) - Differentially Private Decentralized Deep Learning with Consensus
Algorithms [10.208363125551555]
協調的な分散ディープラーニングは、通信エージェント間の直接的な情報交換に依存している。
信頼できない隣人エージェントとのパラメータ共有は、ローカルデータセットに関する悪用可能な情報を漏洩させる可能性がある。
協調訓練の前後で各エージェントの局所的データセットを確保できる分別的私的分散学習を導入する。
論文 参考訳（メタデータ） (2023-06-24T07:46:00Z) - Preserving Privacy in Federated Learning with Ensemble Cross-Domain
Knowledge Distillation [22.151404603413752]
Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。
既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。
我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
論文 参考訳（メタデータ） (2022-09-10T05:20:31Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - A Graph Federated Architecture with Privacy Preserving Learning [48.24121036612076]
フェデレーション学習は、複数のエージェントと連携してグローバルモデルを見つける中央プロセッサを含む。
複数のクライアントに接続されたサーバの現在のアーキテクチャは、サーバの通信障害や計算過負荷に非常に敏感です。
暗号と差分プライバシーの概念を使用して、グラフ構造に拡張するフェデレーション学習アルゴリズムを民営化します。
論文 参考訳（メタデータ） (2021-04-26T09:51:24Z) - Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
データセットバイアスは、機械学習における不公平な原因の1つです。
不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。
また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
論文 参考訳（メタデータ） (2021-04-14T14:20:22Z) - On Deep Learning with Label Differential Privacy [54.45348348861426]
ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。
本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
論文 参考訳（メタデータ） (2021-02-11T15:09:06Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。
協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
論文 参考訳（メタデータ） (2020-06-16T19:31:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。