論文の概要: Towards Understanding the Impact of Model Size on Differential Private Classification

• arxiv url: http://arxiv.org/abs/2111.13895v1
• Date: Sat, 27 Nov 2021 13:34:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 18:34:48.803148
• Title: Towards Understanding the Impact of Model Size on Differential Private Classification
• Title（参考訳）: モデルサイズが個人別分類に与える影響の理解に向けて
• Authors: Yinchen Shen, Zhiguo Wang, Ruoyu Sun, Xiaojing Shen
• Abstract要約: 一般化の観点から高次元DP学習について検討する。 DPノイズが小さい単純なガウスモデルの場合、次元が十分大きい場合、分類誤差はランダムな推定値と同程度に悪いことが示される。 分類精度とプライバシ保護をトレードオフする新しい指標に基づいて,モデルのサイズを小さくする特徴選択手法を提案する。
• 参考スコア（独自算出の注目度）: 18.528062386007328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential privacy (DP) is an essential technique for privacy-preserving. It was found that a large model trained for privacy preserving performs worse than a smaller model (e.g. ResNet50 performs worse than ResNet18). To better understand this phenomenon, we study high dimensional DP learning from the viewpoint of generalization. Theoretically, we show that for the simple Gaussian model with even small DP noise, if the dimension is large enough, then the classification error can be as bad as the random guessing. Then we propose a feature selection method to reduce the size of the model, based on a new metric which trades off the classification accuracy and privacy preserving. Experiments on real data support our theoretical results and demonstrate the advantage of the proposed method.
• Abstract（参考訳）: ディファレンシャルプライバシ(dp)は、プライバシ保存に不可欠なテクニックである。 プライバシ保護のためにトレーニングされた大規模なモデルは、小さなモデルよりもパフォーマンスが悪くなっている(例えば、ResNet50はResNet18よりもパフォーマンスが悪くなっている)。 この現象をよりよく理解するために,一般化の観点から高次元DP学習を研究する。 理論的には、dpノイズが小さい単純なガウスモデルの場合、次元が十分大きい場合、分類誤差はランダムな推測と同じくらい悪い可能性がある。 そこで本研究では,分類精度とプライバシ保護をトレードオフする新たな指標に基づいて,モデルのサイズを縮小する特徴選択手法を提案する。 実データ実験は理論的な結果をサポートし,提案手法の利点を実証する。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
  我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。 我々は、最先端技術にマッチする会員推定のバウンダリを得る。 属性推論に対する新しいデータ依存型バウンダリを提案する。
  論文  参考訳（メタデータ） (2024-02-22T09:26:16Z)
• De-amplifying Bias from Differential Privacy in Language Model Fine-tuning [10.847913815093179]
  公正性とプライバシは、機械学習(ML)実践者がしばしばモデルで運用しようとする2つの重要な価値である。 大規模言語モデルを微調整した場合,DPは性別,人種,宗教的偏見を増幅することを示す。 本稿では, バイアスに対処する方法として, DPによるバイアス増幅の軽減が知られている。
  論文  参考訳（メタデータ） (2024-02-07T00:30:58Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
  本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。 我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。 結果のアルゴリズム(MnM)は概念的にはGANと似ている。
  論文  参考訳（メタデータ） (2021-10-06T13:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。