論文の概要: Why Is Public Pretraining Necessary for Private Model Training?

• arxiv url: http://arxiv.org/abs/2302.09483v1
• Date: Sun, 19 Feb 2023 05:32:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 18:19:16.762388
• Title: Why Is Public Pretraining Necessary for Private Model Training?
• Title（参考訳）: 個人モデルトレーニングに必要な公共事前訓練はなぜ必要か
• Authors: Arun Ganesh, Mahdi Haghifam, Milad Nasr, Sewoong Oh, Thomas Steinke, Om Thakkar, Abhradeep Thakurta, Lun Wang
• Abstract要約: 公開データに対する事前トレーニングは、非プライベートな設定よりも顕著な利益をもたらすことを示す。 トレードオフは、アルゴリズムが2つのフェーズを通過する必要のある、より深い損失モデルかもしれない、と私たちは主張する。 直観によって導かれた理論的な構成は、公的な事前訓練なしでの私的分離を確実に実証するものである。
• 参考スコア（独自算出の注目度）: 50.054565310457306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the privacy-utility tradeoff of a model trained on benchmark language and vision tasks, remarkable improvements have been widely reported with the use of pretraining on publicly available data. This is in part due to the benefits of transfer learning, which is the standard motivation for pretraining in non-private settings. However, the stark contrast in the improvement achieved through pretraining under privacy compared to non-private settings suggests that there may be a deeper, distinct cause driving these gains. To explain this phenomenon, we hypothesize that the non-convex loss landscape of a model training necessitates an optimization algorithm to go through two phases. In the first, the algorithm needs to select a good "basin" in the loss landscape. In the second, the algorithm solves an easy optimization within that basin. The former is a harder problem to solve with private data, while the latter is harder to solve with public data due to a distribution shift or data scarcity. Guided by this intuition, we provide theoretical constructions that provably demonstrate the separation between private training with and without public pretraining. Further, systematic experiments on CIFAR10 and LibriSpeech provide supporting evidence for our hypothesis.
• Abstract（参考訳）: ベンチマーク言語とビジョンタスクでトレーニングされたモデルのプライバシ利用トレードオフにおいて、公開データを事前トレーニングすることによる顕著な改善が報告されている。 これは、非プライベート環境での事前トレーニングの標準的な動機である転送学習のメリットにも起因している。 しかし、プライバシー下での事前トレーニングによって達成される改善の対照的性は、プライベートでない設定と比べて、これらの利益を駆動する深い、明確な原因があることを示唆している。 この現象を説明するために、モデルトレーニングの非凸損失環境は、2つのフェーズを通過する最適化アルゴリズムを必要とすると仮定する。 第一に、アルゴリズムはロスランドスケープにおいて良い「悪い」を選択する必要がある。 第二に、このアルゴリズムはその盆地内で簡単な最適化を解く。 前者はプライベートデータでは解決が難しいが、後者は分散シフトやデータ不足のために公開データでは解決が難しい。 この直感で導かれた理論的な構成は、公的な事前訓練なしに私的な訓練の分離を確実に示すものである。 さらに、CIFAR10とLibriSpeechに関する体系的な実験は、我々の仮説を支持する証拠を提供する。

関連論文リスト

• On the Benefits of Public Representations for Private Transfer Learning under Distribution Shift [40.553022057469285]
  一般のプレトレーニングは、プライベートトレーニングをスクラッチから最大67%改善できることを示す。 この現象の理論的説明として、公開データとプライベートデータが低次元表現を共有している場合、公開表現は、プライベートトレーニングのサンプルの複雑さを改善することができることを示す。
  論文  参考訳（メタデータ） (2023-12-24T21:46:14Z)
• Optimal Differentially Private Model Training with Public Data [13.16576244790641]
  差分プライバシー(DP)は、機械学習モデルのトレーニングがプライベートデータをリークしないことを保証する。 実際には、プライバシーの懸念のない補助的な公開データにアクセスできます。
  論文  参考訳（メタデータ） (2023-06-26T20:40:29Z)
• Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
  言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。 公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。 提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-20T07:55:58Z)
• Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
  プライベート機械学習では、既存の監査メカニズムは厳格である。 彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。 我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
  論文  参考訳（メタデータ） (2023-02-15T21:40:33Z)
• Position: Considerations for Differentially Private Learning with Large-Scale Public Pretraining [75.25943383604266]
  大規模なWebスクレイプデータセットの使用は、差分プライバシ保存と見なすべきかどうかを疑問視する。 Webデータ上で事前訓練されたこれらのモデルを“プライベート”として公開することで、市民のプライバシーに対する信頼を意味のあるプライバシの定義として損なう可能性があることを警告します。 公的な事前学習がより普及し、強力になるにつれて、私的な学習分野への道のりを議論することで、我々は結論づける。
  論文  参考訳（メタデータ） (2022-12-13T10:41:12Z)
• Fine-Tuning with Differential Privacy Necessitates an Additional Hyperparameter Search [38.83524780461911]
  トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。 ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
  論文  参考訳（メタデータ） (2022-10-05T11:32:49Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Constrained Differentially Private Federated Learning for Low-bandwidth Devices [1.1470070927586016]
  本稿では,新しいプライバシー保護型連合学習方式を提案する。 これは、差分プライバシーに基づく理論上のプライバシー保証を提供する。 上流と下流の帯域幅を標準のフェデレート学習と比較して最大99.9%削減する。
  論文  参考訳（メタデータ） (2021-02-27T22:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。