論文の概要: Kernel Affine Hull Machines for Differentially Private Learning
- arxiv url: http://arxiv.org/abs/2304.01300v1
- Date: Mon, 3 Apr 2023 18:52:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 16:35:14.945391
- Title: Kernel Affine Hull Machines for Differentially Private Learning
- Title（参考訳）: 微分プライベート学習のためのカーネルアフィンハルマシン
- Authors: Mohit Kumar, Bernhard A. Moser, Lukas Fischer
- Abstract要約: 本稿では,境界幾何学体からの距離測定を効果的に計算するKernel Affine Hull Machine(KAHM)を紹介する。
KAHMは、広範囲かつ深いオートエンコーダにおいて重要なビルディングブロックであり、分類アプリケーションのためのデータ表現学習を可能にする。
- 参考スコア（独自算出の注目度）: 2.2601565528048275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper explores the use of affine hulls of points as a means of
representing data via learning in Reproducing Kernel Hilbert Spaces (RKHS),
with the goal of partitioning the data space into geometric bodies that conceal
privacy-sensitive information about individual data points, while preserving
the structure of the original learning problem. To this end, we introduce the
Kernel Affine Hull Machine (KAHM), which provides an effective way of computing
a distance measure from the resulting bounded geometric body. KAHM is a
critical building block in wide and deep autoencoders, which enable data
representation learning for classification applications. To ensure
privacy-preserving learning, we propose a novel method for generating
fabricated data, which involves smoothing differentially private data samples
through a transformation process. The resulting fabricated data guarantees not
only differential privacy but also ensures that the KAHM modeling error is not
larger than that of the original training data samples. We also address the
accuracy-loss issue that arises with differentially private classifiers by
using fabricated data. This approach results in a significant reduction in the
risk of membership inference attacks while incurring only a marginal loss of
accuracy. As an application, a KAHM based differentially private federated
learning scheme is introduced featuring that the evaluation of global
classifier requires only locally computed distance measures. Overall, our
findings demonstrate the potential of KAHM as effective tool for
privacy-preserving learning and classification.
- Abstract（参考訳）: 本稿では,データ空間を,個々のデータ点に関するプライバシーに敏感な情報を隠蔽する幾何学体に分割し,元の学習課題の構造を保ちながら,学習を通してデータを表現する手段として,アフィンの点の殻を用いる方法について検討する。
この目的のために,カーネルアフィンハルマシン (kernel affine hull machine, kahm) を導入する。
KAHMは、広範囲かつ深いオートエンコーダにおいて重要なビルディングブロックであり、分類アプリケーションのためのデータ表現学習を可能にする。
プライバシ保存学習を確実にするために,変換プロセスを通じて差分プライベートなデータサンプルを平滑化することを含む,新しいデータ生成法を提案する。
その結果生成されたデータにより、差分プライバシーが保証されるだけでなく、KAHMモデリングエラーが元のトレーニングデータサンプルよりも大きくないことも保証される。
また, 試作データを用いて, 微分プライベート分類器で発生する精度損失問題にも対処する。
このアプローチにより、メンバーシップ推論攻撃のリスクは大幅に低減されるが、精度の限界損失しか生じない。
応用として,大域的分類器の評価が局所的に計算された距離測定のみを必要とすることを特徴とする,KAHMに基づく微分プライベートフェデレーション学習方式を導入する。
本研究は,プライバシー保護学習と分類のための効果的なツールとして,KAHMの可能性を示すものである。
関連論文リスト
- Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳（メタデータ） (2023-10-31T16:13:22Z) - Locally Differentially Private Gradient Tracking for Distributed Online
Learning over Directed Graphs [2.1271873498506038]
本稿では,局所的に個人差分な勾配追跡に基づく分散オンライン学習アルゴリズムを提案する。
提案アルゴリズムは,厳密な局所差分プライバシーを確保しつつ,平均二乗を最適解に収束させることを証明した。
論文 参考訳（メタデータ） (2023-10-24T18:15:25Z) - Locally Differentially Private Distributed Online Learning with Guaranteed Optimality [1.800614371653704]
本稿では,分散オンライン学習における差分プライバシーと学習精度を両立させる手法を提案する。
予想される即時後悔の減少を確実にする一方で、このアプローチは有限累積プライバシー予算を同時に確保することができる。
私たちの知る限りでは、このアルゴリズムは厳密な局所的な差分プライバシーと学習精度の両方を確実にする最初のアルゴリズムです。
論文 参考訳（メタデータ） (2023-06-25T02:05:34Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳（メタデータ） (2022-09-09T08:54:13Z) - Gromov-Wasserstein Discrepancy with Local Differential Privacy for
Distributed Structural Graphs [7.4398547397969494]
本稿では,グラフニューラルネットワークから学習したノード埋め込みのGW差分を分析するためのプライバシー保護フレームワークを提案する。
我々の実験は,$varilon$-LDPアルゴリズムによって保証される強力なプライバシー保護により,提案フレームワークがグラフ学習におけるプライバシを保存するだけでなく,GW距離下でのノイズ構造指標も提示することを示した。
論文 参考訳（メタデータ） (2022-02-01T23:32:33Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - On Deep Learning with Label Differential Privacy [54.45348348861426]
ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。
本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
論文 参考訳（メタデータ） (2021-02-11T15:09:06Z) - Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。
すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。
本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
論文 参考訳（メタデータ） (2020-10-23T10:35:35Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。
協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
論文 参考訳（メタデータ） (2020-06-16T19:31:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。