論文の概要: Differentially Private Deep Learning with Smooth Sensitivity
- arxiv url: http://arxiv.org/abs/2003.00505v1
- Date: Sun, 1 Mar 2020 15:38:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 12:45:23.482805
- Title: Differentially Private Deep Learning with Smooth Sensitivity
- Title（参考訳）: Smooth Sensitivity を用いた差分私的深層学習
- Authors: Lichao Sun, Yingbo Zhou, Philip S. Yu, Caiming Xiong
- Abstract要約: プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。
このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。
過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。
本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
- 参考スコア（独自算出の注目度）: 144.31324628007403
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensuring the privacy of sensitive data used to train modern machine learning
models is of paramount importance in many areas of practice. One approach to
study these concerns is through the lens of differential privacy. In this
framework, privacy guarantees are generally obtained by perturbing models in
such a way that specifics of data used to train the model are made ambiguous. A
particular instance of this approach is through a "teacher-student" framework,
wherein the teacher, who owns the sensitive data, provides the student with
useful, but noisy, information, hopefully allowing the student model to perform
well on a given task without access to particular features of the sensitive
data. Because stronger privacy guarantees generally involve more significant
perturbation on the part of the teacher, deploying existing frameworks
fundamentally involves a trade-off between student's performance and privacy
guarantee. One of the most important techniques used in previous works involves
an ensemble of teacher models, which return information to a student based on a
noisy voting procedure. In this work, we propose a novel voting mechanism with
smooth sensitivity, which we call Immutable Noisy ArgMax, that, under certain
conditions, can bear very large random noising from the teacher without
affecting the useful information transferred to the student.
Compared with previous work, our approach improves over the state-of-the-art
methods on all measures, and scale to larger tasks with both better performance
and stronger privacy ($\epsilon \approx 0$). This new proposed framework can be
applied with any machine learning models, and provides an appealing solution
for tasks that requires training on a large amount of data.
- Abstract（参考訳）: 現代の機械学習モデルのトレーニングに使用される機密データのプライバシーを確保することは、多くの分野において最重要事項である。
これらの懸念を研究する1つのアプローチは、差分プライバシーのレンズである。
このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。
このアプローチの特別な例は、機密データを所有している教師が学生に有用な、しかし騒々しい情報を提供し、学生が特定のタスクにおいて、機密データの特定の特徴にアクセスせずに、良いパフォーマンスを得られるようにする「教師学生」フレームワークである。
より強力なプライバシー保証は、一般的に教師の立場でより重大な混乱を伴うため、既存のフレームワークをデプロイすることは、学生のパフォーマンスとプライバシー保証との間のトレードオフを根本的に伴う。
過去の研究で使われた最も重要なテクニックの1つは教師モデルの集合であり、ノイズの多い投票手順に基づいて生徒に情報を返す。
本研究では,学生に伝達される有用な情報に影響を与えずに,ある条件下で教師から非常に大きなランダムノーミングを受けることができる,不可変雑音argmaxと呼ばれる,円滑な感度を持つ新しい投票機構を提案する。
これまでの研究と比較すると、我々のアプローチはあらゆる尺度における最先端の手法よりも改善され、パフォーマンスとより強力なプライバシー(\epsilon \approx 0$)の両方でより大きなタスクにスケールします。
この新しいフレームワークは、任意の機械学習モデルに適用でき、大量のデータでトレーニングを必要とするタスクに対して魅力的なソリューションを提供する。
関連論文リスト
- Privacy-Preserving Student Learning with Differentially Private Data-Free Distillation [35.37005050907983]
プライバシーを保護したディープラーニングモデルを学習するための効果的な教師学生学習手法を提案する。
データプライバシを公開することなく、モデルトレーニングのために大量の合成データを生成することができる。
学生は、プライベートレーベルの監督の下で、合成データに基づいて訓練される。
論文 参考訳（メタデータ） (2024-09-19T01:00:18Z) - PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。
我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。
特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文 参考訳（メタデータ） (2023-10-03T22:37:01Z) - DriveAdapter: Breaking the Coupling Barrier of Perception and Planning
in End-to-End Autonomous Driving [64.57963116462757]
最先端の手法は通常、教師-学生のパラダイムに従う。
学生モデルは、生のセンサーデータのみにアクセスし、教師モデルによって収集されたデータに基づいて行動クローニングを行う。
本稿では,学生(知覚)と教師(計画)モジュール間の機能アライメント目的関数を持つアダプタを用いたDriveAdapterを提案する。
論文 参考訳（メタデータ） (2023-08-01T09:21:53Z) - A Survey on Differential Privacy with Machine Learning and Future
Outlook [0.0]
差分プライバシーは、あらゆる攻撃や脆弱性から機械学習モデルを保護するために使用される。
本稿では,2つのカテゴリに分類される差分プライベート機械学習アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-11-19T14:20:53Z) - Private Semi-supervised Knowledge Transfer for Deep Learning from Noisy
Labels [21.374707481630697]
本稿では,現在進行しているノイズラベル学習機構とPATEフレームワークを組み合わせたPATE++を提案する。
GAN(Generative Adversarial Nets)の新たな構造は,それらを効果的に統合するために開発されている。
さらに,半教師付きモデルトレーニングのための新しいノイズラベル検出機構を開発し,ノイズラベルを用いたトレーニング時の生徒モデル性能をさらに向上させる。
論文 参考訳（メタデータ） (2022-11-03T07:33:49Z) - SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。
提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
論文 参考訳（メタデータ） (2022-04-11T14:42:54Z) - FaceLeaks: Inference Attacks against Transfer Learning Models via
Black-box Queries [2.7564955518050693]
教師モデルと直接対話することなく,個人情報を漏らしたり推測したりできるかどうかを検討する。
集約レベル情報から推測する新しい手法を提案する。
本研究は,情報漏洩が現実の状況で広く利用されている伝達学習フレームワークに対する真のプライバシー上の脅威であることを示す。
論文 参考訳（メタデータ） (2020-10-27T03:02:40Z) - Differentially Private and Fair Deep Learning: A Lagrangian Dual
Approach [54.32266555843765]
本稿では,個人の機密情報のプライバシを保護するとともに,非差別的予測器の学習を可能にするモデルについて検討する。
この方法は、微分プライバシーの概念と、公正性制約を満たすニューラルネットワークの設計にラグランジアン双対性(Lagrangian duality)を用いることに依存している。
論文 参考訳（メタデータ） (2020-09-26T10:50:33Z) - SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。
協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
論文 参考訳（メタデータ） (2020-06-16T19:31:52Z) - TIPRDC: Task-Independent Privacy-Respecting Data Crowdsourcing Framework
for Deep Learning with Anonymized Intermediate Representations [49.20701800683092]
本稿では,匿名化中間表現を用いたタスク非依存型プライバシ参照データクラウドソーシングフレームワークTIPRDCを提案する。
このフレームワークの目的は、中間表現からプライバシー情報を隠蔽できる機能抽出器を学習することであり、データコレクターの生データに埋め込まれた元の情報を最大限に保持し、未知の学習タスクを達成することである。
論文 参考訳（メタデータ） (2020-05-23T06:21:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。