論文の概要: On the Importance of Architecture and Feature Selection in
Differentially Private Machine Learning
- arxiv url: http://arxiv.org/abs/2205.06720v1
- Date: Fri, 13 May 2022 15:57:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-16 14:16:11.607453
- Title: On the Importance of Architecture and Feature Selection in
Differentially Private Machine Learning
- Title（参考訳）: 差分プライベート機械学習におけるアーキテクチャと特徴選択の重要性について
- Authors: Wenxuan Bao, Luke A. Bauer, and Vincent Bindschaedler
- Abstract要約: 差分プライベート機械学習の典型的なワークフローにおける落とし穴について検討する。
差分的にプライベートな学習アルゴリズムを"ドロップイン"方式で使用すると、過度に複雑でパフォーマンスの悪いモデルが得られる。
- 参考スコア（独自算出の注目度）: 2.387686431425822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study a pitfall in the typical workflow for differentially private machine
learning. The use of differentially private learning algorithms in a "drop-in"
fashion -- without accounting for the impact of differential privacy (DP) noise
when choosing what feature engineering operations to use, what features to
select, or what neural network architecture to use -- yields overly complex and
poorly performing models. In other words, by anticipating the impact of DP
noise, a simpler and more accurate alternative model could have been trained
for the same privacy guarantee. We systematically study this phenomenon through
theory and experiments. On the theory front, we provide an explanatory
framework and prove that the phenomenon arises naturally from the addition of
noise to satisfy differential privacy. On the experimental front, we
demonstrate how the phenomenon manifests in practice using various datasets,
types of models, tasks, and neural network architectures. We also analyze the
factors that contribute to the problem and distill our experimental insights
into concrete takeaways that practitioners can follow when training models with
differential privacy. Finally, we propose privacy-aware algorithms for feature
selection and neural network architecture search. We analyze their differential
privacy properties and evaluate them empirically.
- Abstract（参考訳）: 差分プライベート機械学習の典型的なワークフローにおける落とし穴について検討する。
差分プライベート学習アルゴリズムを"ドロップイン"方式で使用することで、どの機能エンジニアリング操作を使用するか、どの機能を選択するか、ニューラルネットワークアーキテクチャを使用するかを選択した場合、差分プライバシ(DP)ノイズの影響を考慮せずに、過度に複雑でパフォーマンスの悪いモデルが得られる。
言い換えれば、dpノイズの影響を予測すれば、よりシンプルで正確な代替モデルが同じプライバシー保証のために訓練されたことになる。
我々はこの現象を理論と実験を通じて体系的に研究する。
理論面では、説明的枠組みを提供し、差分プライバシーを満たすためのノイズの追加から自然に発生する現象を証明する。
実験では、様々なデータセット、モデルの種類、タスク、ニューラルネットワークアーキテクチャを用いて、実際にこの現象がどのように現れるかを実証する。
また,問題に寄与する要因を分析し,実践者が異なるプライバシを持つトレーニングモデルに従える具体的な知見を抽出した。
最後に,機能選択とニューラルネットワークアーキテクチャ探索のためのプライバシアウェアアルゴリズムを提案する。
それらの差分プライバシー特性を分析し、実証的に評価する。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - Breaking the Curse of Dimensionality in Deep Neural Networks by Learning
Invariant Representations [1.9580473532948401]
この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。
ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。
本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
論文 参考訳（メタデータ） (2023-10-24T19:50:41Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。
本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。
提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
論文 参考訳（メタデータ） (2022-12-09T03:58:22Z) - Model-Based Deep Learning: On the Intersection of Deep Learning and
Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。
数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。
モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文 参考訳（メタデータ） (2022-05-05T13:40:08Z) - Differentially Private Graph Classification with GNNs [5.830410490229634]
グラフネットワーク(GNN)は多くの機械学習アプリケーションの最先端モデルとして確立されている。
グラフにおける機械学習の重要な応用の1つであるグラフレベル分類の差分プライバシーを導入する。
各種の合成および公開データセットについて結果を示し、異なるGNNアーキテクチャの影響を評価する。
論文 参考訳（メタデータ） (2022-02-05T15:16:40Z) - Statistical Privacy Guarantees of Machine Learning Preprocessing
Techniques [1.198727138090351]
機械学習パイプラインのプライバシレベルを測定するために,統計的手法に基づくプライバシ違反検出フレームワークを適用した。
新たに作成されたフレームワークを適用して、不均衡なデータセットを扱う際に使用される再サンプリング技術によって、結果のモデルがよりプライバシーを漏洩することを示す。
論文 参考訳（メタデータ） (2021-09-06T14:08:47Z) - Photonic Differential Privacy with Direct Feedback Alignment [66.61196212740359]
本稿では,光乱射影の固有雑音を利用して,微分プライベートなDFA機構を構築する方法について述べる。
本研究は,エンドタスクの確固たるパフォーマンスを実現するための学習手順の実証実験を行う。
論文 参考訳（メタデータ） (2021-06-07T14:18:01Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z) - Differentially Private Synthetic Data: Applied Evaluations and
Enhancements [4.749807065324706]
異なるプライベートデータ合成は、個人の詳細を露出から保護する。
データ合成のための4つの差分私的生成対向ネットワークの評価を行った。
合成データを生成するためのアンサンブルに基づくモデリング手法であるQUAILを提案する。
論文 参考訳（メタデータ） (2020-11-11T04:03:08Z) - Differentially Private and Fair Deep Learning: A Lagrangian Dual
Approach [54.32266555843765]
本稿では,個人の機密情報のプライバシを保護するとともに,非差別的予測器の学習を可能にするモデルについて検討する。
この方法は、微分プライバシーの概念と、公正性制約を満たすニューラルネットワークの設計にラグランジアン双対性(Lagrangian duality)を用いることに依存している。
論文 参考訳（メタデータ） (2020-09-26T10:50:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。