論文の概要: Toward Training at ImageNet Scale with Differential Privacy

• arxiv url: http://arxiv.org/abs/2201.12328v1
• Date: Fri, 28 Jan 2022 18:48:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-31 15:53:10.693937
• Title: Toward Training at ImageNet Scale with Differential Privacy
• Title（参考訳）: 差分プライバシーによるImageNetスケールのトレーニングに向けて
• Authors: Alexey Kurakin, Steve Chien, Shuang Song, Roxana Geambasu, Andreas Terzis, Abhradeep Thakurta
• Abstract要約: 微分プライバシー(DP)は、機械学習(ML)モデルをトレーニングするデファクトスタンダードである。 ImageNet画像分類は、DPで正確に解決することが非常に難しいMLタスクのポスター例である。 本稿は、DPトレーニングを大規模に探求するよう、他の研究者に刺激を与え、知らせることを願って、当社の取り組みから最初の教訓を共有します。
• 参考スコア（独自算出の注目度）: 19.139956067438995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential privacy (DP) is the de facto standard for training machine learning (ML) models, including neural networks, while ensuring the privacy of individual examples in the training set. Despite a rich literature on how to train ML models with differential privacy, it remains extremely challenging to train real-life, large neural networks with both reasonable accuracy and privacy. We set out to investigate how to do this, using ImageNet image classification as a poster example of an ML task that is very challenging to resolve accurately with DP right now. This paper shares initial lessons from our effort, in the hope that it will inspire and inform other researchers to explore DP training at scale. We show approaches which help to make DP training faster, as well as model types and settings of the training process that tend to work better for DP. Combined, the methods we discuss let us train a Resnet-18 with differential privacy to 47.9% accuracy and privacy parameters $\epsilon = 10, \delta = 10^{-6}$, a significant improvement over "naive" DP-SGD training of Imagenet models but a far cry from the $75\%$ accuracy that can be obtained by the same network without privacy. We share our code at https://github.com/google-research/dp-imagenet calling for others to join us in moving the needle further on DP at scale.
• Abstract（参考訳）: 差分プライバシー(DP)は、ニューラルネットワークを含む機械学習(ML)モデルをトレーニングするためのデファクトスタンダードであり、トレーニングセット内の個々のサンプルのプライバシを保証する。 MLモデルを異なるプライバシでトレーニングする方法に関する豊富な文献があるにも関わらず、現実の大規模ニューラルネットワークを適切な精度とプライバシの両方でトレーニングすることは、依然として極めて難しい。 そこで私たちは,イメージネット画像分類をMLタスクのポスター例として用いて,DPで正確に解決することが非常に困難である点を調査した。 本論文は,我々の取り組みから得た最初の教訓を共有し,他の研究者に大規模にdpトレーニングを探求するよう促し,知らせることを目的としている。 DPトレーニングを高速化する上で有効なアプローチと、DPに向いているトレーニングプロセスのモデルタイプと設定を示す。 この方法を組み合わせることで、差分プライバシーを持つResnet-18を47.9%の精度とプライバシパラメータにトレーニングすることができる。$\epsilon = 10, \delta = 10^{-6}$, ImagenetモデルのDP-SGDトレーニングよりも大幅に改善されるが、同じネットワークがプライバシなしで取得できる7,5\%の正確さとは程遠い。 私たちはコードをhttps://github.com/google-research/dp-imagenetで共有しています。

関連論文リスト

• Differentially Private Representation Learning via Image Captioning [51.45515227171524]
  画像キャプションとインターネット規模のマルチモーダルデータセットのスケールアップにより,効率的なDP表現学習が可能であることを示す。 LAION-2Bの233Mサブセット上のDPイメージキャプタ(DP-Cap)を,合理的な計算量を用いてスクラッチからトレーニングした。
  論文  参考訳（メタデータ） (2024-03-04T21:52:25Z)
• Efficient Verification-Based Face Identification [50.616875565173274]
  効率の良いニューラルモデルで顔認証を行う際の問題点を$f$で検討する。 我々のモデルは、23kパラメータと5M浮動小数点演算(FLOPS)しか必要としない、かなり小さな$f$に導かれる。 我々は、6つの顔認証データセットを用いて、我々の手法が最先端のモデルよりも同等か優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-20T18:08:02Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Differentially Private Image Classification by Learning Priors from Random Processes [48.0766422536737]
  プライバシー保護機械学習において、差分プライベート勾配降下(DP-SGD)は、サンプルごとの勾配クリッピングとノイズ付加によりSGDよりも悪化する。 近年のプライベートラーニング研究は, DP-SGDを実世界の公開データに組み込むことで, 個人データにおけるDP-SGDの性能向上に力を入れている。 本研究では,DP-SGDのプライバシ・ユーティリティ・トレードオフを改善するために,ランダムなプロセスによって生成された画像から先行情報を学習し,それらをプライベートデータに転送する方法を検討する。
  論文  参考訳（メタデータ） (2023-06-08T04:14:32Z)
• Equivariant Differentially Private Deep Learning: Why DP-SGD Needs Sparser Models [7.49320945341034]
  小型で効率的なアーキテクチャ設計は、計算要求がかなり少ない最先端のモデルよりも優れていることを示す。 私たちの結果は、パラメータを最適に活用する効率的なモデルアーキテクチャへの一歩です。
  論文  参考訳（メタデータ） (2023-01-30T17:43:47Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Fine-Tuning with Differential Privacy Necessitates an Additional Hyperparameter Search [38.83524780461911]
  トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。 ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
  論文  参考訳（メタデータ） (2022-10-05T11:32:49Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。