論文の概要: Differentially Private Image Classification from Features

• arxiv url: http://arxiv.org/abs/2211.13403v1
• Date: Thu, 24 Nov 2022 04:04:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 15:52:37.738081
• Title: Differentially Private Image Classification from Features
• Title（参考訳）: 特徴量からの微分プライベート画像分類
• Authors: Harsh Mehta, Walid Krichene, Abhradeep Thakurta, Alexey Kurakin, Ashok Cutkosky
• Abstract要約: 転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。 最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
• 参考スコア（独自算出の注目度）: 53.75086935617644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Leveraging transfer learning has recently been shown to be an effective strategy for training large models with Differential Privacy (DP). Moreover, somewhat surprisingly, recent works have found that privately training just the last layer of a pre-trained model provides the best utility with DP. While past studies largely rely on algorithms like DP-SGD for training large models, in the specific case of privately learning from features, we observe that computational burden is low enough to allow for more sophisticated optimization schemes, including second-order methods. To that end, we systematically explore the effect of design parameters such as loss function and optimization algorithm. We find that, while commonly used logistic regression performs better than linear regression in the non-private setting, the situation is reversed in the private setting. We find that linear regression is much more effective than logistic regression from both privacy and computational aspects, especially at stricter epsilon values ($\epsilon < 1$). On the optimization side, we also explore using Newton's method, and find that second-order information is quite helpful even with privacy, although the benefit significantly diminishes with stricter privacy guarantees. While both methods use second-order information, least squares is effective at lower epsilons while Newton's method is effective at larger epsilon values. To combine the benefits of both, we propose a novel algorithm called DP-FC, which leverages feature covariance instead of the Hessian of the logistic regression loss and performs well across all $\epsilon$ values we tried. With this, we obtain new SOTA results on ImageNet-1k, CIFAR-100 and CIFAR-10 across all values of $\epsilon$ typically considered. Most remarkably, on ImageNet-1K, we obtain top-1 accuracy of 88\% under (8, $8 * 10^{-7}$)-DP and 84.3\% under (0.1, $8 * 10^{-7}$)-DP.
• Abstract（参考訳）: 近年,差分プライバシ(DP)を用いた大規模モデルのトレーニングには,転送学習の活用が有効であることが示されている。 さらに、意外なことに、最近の研究で、事前訓練されたモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供することがわかった。 過去の研究は、DP-SGDのようなアルゴリズムに大きく依存しているが、機能からプライベートに学習する特定のケースでは、計算負担が低く、二階法を含むより洗練された最適化スキームが可能である。 そこで我々は,損失関数や最適化アルゴリズムなどの設計パラメータの効果を体系的に検討した。 一般に使用されるロジスティック回帰は、非プライベートな環境では線形回帰よりも優れているが、プライベートな環境では逆になる。 特に厳格なepsilon値($\epsilon < 1$)では、プライバシと計算の両方の観点からロジスティック回帰よりも線形回帰の方がずっと効果的である。 最適化面では、Newtonの手法も検討し、プライバシに関しても2階情報は極めて有用であるが、そのメリットはより厳格なプライバシ保証によって著しく減少する。 どちらの方法も二階情報を用いるが、少なくとも二乗法は低いエプシロンで有効であり、ニュートンの方法はより大きなエプシロン値で有効である。 両者の利点を組み合わせるために,ロジスティック回帰損失のヘシアンの代わりに特徴共分散を利用するDP-FCという新しいアルゴリズムを提案し,試行したすべての$\epsilon$値に対して良好に機能する。 これにより、一般的に考慮される$\epsilon$のすべての値に対して、ImageNet-1k、CIFAR-100、CIFAR-10のSOTA結果を得る。 ImageNet-1Kでは、トップ1の精度は (8, 8 * 10^{-7}$)-DPで88 %、 (0.1, 8 * 10^{-7}$)-DPで84.3 %となる。

関連論文リスト

• LMO-DP: Optimizing the Randomization Mechanism for Differentially Private Fine-Tuning (Large) Language Models [31.718398512438238]
  本稿では,LMO-DP(Language Model-based Optimal Differential Privacy)機構を提案する。 これは、最適化された言語モデルの厳密な構成を、サブ最適DPメカニズムで実現するための第一歩である。 LMO-DPはまた、強力な差分プライバシー保証を持つLlama-2を正確に微調整する最初のソリューションでもある。
  論文  参考訳（メタデータ） (2024-05-29T05:32:50Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Scaling Up Differentially Private LASSO Regularized Logistic Regression via Faster Frank-Wolfe Iterations [51.14495595270775]
  我々は,Frank-Wolfeアルゴリズムを$L_1$のペナル化線形回帰に適応させ,スパース入力を認識し,有効利用する。 この方法では,プライバシパラメータ$epsilon$の値とデータセットの分散度に応じて,最大2,200times$の係数でランタイムを削減できることを示す。
  論文  参考訳（メタデータ） (2023-10-30T19:52:43Z)
• Faster Differentially Private Convex Optimization via Second-Order Methods [29.610397744953577]
  微分プライベート(確率的)勾配勾配は、凸界と非凸界の両方におけるプライベート機械学習の成果である。 制約のないロジスティック回帰問題に対する実用的な2次アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T16:43:36Z)
• Differentially Private Deep Learning with ModelMix [14.445182641912014]
  そこで本研究では,中間モデル状態のランダムアグリゲーションを行う, Em ModelMix と呼ばれる汎用最適化フレームワークを提案する。 トレーニング軌跡のエントロピーを利用した複合プライバシー分析を強化する。 本研究は,勾配クリッピングの効果に関する公式な研究である。
  論文  参考訳（メタデータ） (2022-10-07T22:59:00Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Towards Alternative Techniques for Improving Adversarial Robustness: Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
  逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。 私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。 ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
  論文  参考訳（メタデータ） (2022-06-13T22:01:21Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Output Perturbation for Differentially Private Convex Optimization with Improved Population Loss Bounds, Runtimes and Applications to Private Adversarial Training [12.386462516398469]
  強力な過剰なリスク境界を提供する効率的で実装が容易な差分プライベート(DP)アルゴリズムを見つけることは、現代の機械学習において重要な問題である。 我々は、滑らかさと強い凸性の存在下で、最もよく知られた$(epsilon, 0)$-DP人口損失境界と最速ランタイムを提供する。 我々はこの理論を2つの学習フレームワーク、傾きERMと逆学習フレームワークに適用する。
  論文  参考訳（メタデータ） (2021-02-09T08:47:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。