論文の概要: On Deep Learning with Label Differential Privacy

• arxiv url: http://arxiv.org/abs/2102.06062v1
• Date: Thu, 11 Feb 2021 15:09:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-12 14:03:12.906574
• Title: On Deep Learning with Label Differential Privacy
• Title（参考訳）: ラベル差分プライバシーを用いた深層学習について
• Authors: Badih Ghazi, Noah Golowich, Ravi Kumar, Pasin Manurangsi, Chiyuan Zhang
• Abstract要約: ラベルは機密性があり、保護されるべきであるとするマルチクラス分類について検討する。 本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。
• 参考スコア（独自算出の注目度）: 54.45348348861426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many machine learning applications, the training data can contain highly sensitive personal information. Training large-scale deep models that are guaranteed not to leak sensitive information while not compromising their accuracy has been a significant challenge. In this work, we study the multi-class classification setting where the labels are considered sensitive and ought to be protected. We propose a new algorithm for training deep neural networks with label differential privacy, and run evaluations on several datasets. For Fashion MNIST and CIFAR-10, we demonstrate that our algorithm achieves significantly higher accuracy than the state-of-the-art, and in some regimes comes close to the non-private baselines. We also provide non-trivial training results for the the challenging CIFAR-100 dataset. We complement our algorithm with theoretical findings showing that in the setting of convex empirical risk minimization, the sample complexity of training with label differential privacy is dimension-independent, which is in contrast to vanilla differential privacy.
• Abstract（参考訳）: 多くの機械学習アプリケーションでは、トレーニングデータは極めて機密性の高い個人情報を含むことができる。 機密情報を漏らさず、精度を損なわないような大規模な深層モデルの訓練は重要な課題である。 本研究では,ラベルの機密性が考慮され保護されるべきマルチクラス分類設定について検討する。 本稿では,ラベル差分プライバシを用いたディープニューラルネットワークのトレーニングアルゴリズムを提案し,いくつかのデータセットで評価を行う。 Fashion MNIST と CIFAR-10 に対して、我々のアルゴリズムは最先端技術よりもはるかに精度が高く、一部の状況では非プライベートベースラインに近い。 また、難易度の高いCIFAR-100データセットに対する非自明なトレーニング結果も提供する。 本アルゴリズムは, 凸型経験的リスク最小化の設定において, ラベル差分プライバシーを用いたトレーニングの複雑さは次元非依存であり, バニラ差分プライバシーとは対照的であることを示す理論的知見を補完する。

関連論文リスト

• Differential Privacy Under Class Imbalance: Methods and Empirical Insights [11.378192651089359]
  不均衡学習は、トレーニングデータにおいて、クラスラベルの分布が高度に歪められたときに起こる。 我々は、クラス不均衡を低減するために、元のデータセットをプライベートに増強する事前処理方式のDP変種について検討する。 また,不均衡を考慮した学習アルゴリズムを調整したインプロセッシング手法のDP変種についても検討する。 各手法について,既存の不均衡学習手法をプライベート設定に適応させるか,差分プライバシーに適合しないことを示す。
  論文  参考訳（メタデータ） (2024-11-08T17:46:56Z)
• Locally Differentially Private Gradient Tracking for Distributed Online Learning over Directed Graphs [2.1271873498506038]
  本稿では,局所的に個人差分な勾配追跡に基づく分散オンライン学習アルゴリズムを提案する。 提案アルゴリズムは,厳密な局所差分プライバシーを確保しつつ,平均二乗を最適解に収束させることを証明した。
  論文  参考訳（メタデータ） (2023-10-24T18:15:25Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
  ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。 センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
  論文  参考訳（メタデータ） (2022-12-07T15:32:22Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Efficient Encrypted Inference on Ensembles of Decision Trees [21.570003967858355]
  データプライバシーに関する懸念は、しばしば機密個人データのクラウドベースの機械学習サービスの使用を妨げます。 複雑な決定木アンサンブルから抽出した知識を浅層ニューラルネットワークに伝達する枠組みを提案する。 当社のシステムは高度にスケーラブルで,バッチ暗号化された(134ビットのセキュリティ)データに対して,ミリ秒のアモートタイムで効率的な推論を行うことができる。
  論文  参考訳（メタデータ） (2021-03-05T01:06:30Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• DISCO: Dynamic and Invariant Sensitive Channel Obfuscation for deep neural networks [19.307753802569156]
  特徴空間における機密情報を選択的に難読化するための動的およびデータ駆動型プルーニングフィルタを学習するdisCOを提案する。 また,100万のセンシティブ表現を用いた評価ベンチマークデータセットをリリースし,新たな攻撃手法の厳格な探索を奨励する。
  論文  参考訳（メタデータ） (2020-12-20T21:15:13Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Differentially Private Simple Linear Regression [2.614403183902121]
  差分プライバシーを満たす単純な線形回帰のアルゴリズムについて検討する。 小データセットに対する単純な線形回帰のための微分プライベートアルゴリズムの設計を考察する。 設定に適応するアルゴリズムのスペクトルの性能について検討する。
  論文  参考訳（メタデータ） (2020-07-10T04:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。