論文の概要: When Does Differentially Private Learning Not Suffer in High Dimensions?

• arxiv url: http://arxiv.org/abs/2207.00160v1
• Date: Fri, 1 Jul 2022 02:36:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 02:46:55.684911
• Title: When Does Differentially Private Learning Not Suffer in High Dimensions?
• Title（参考訳）: 微分プライベート学習はいつ高次元に支障をきたさないのか?
• Authors: Xuechen Li, Daogao Liu, Tatsunori Hashimoto, Huseyin A. Inan, Janardhan Kulkarni, Yin Tat Lee, Abhradeep Guha Thakurta
• Abstract要約: 大規模な事前訓練されたモデルは、プライベートでないモデルに近づくパフォーマンスを達成するために、プライベートに微調整することができる。 これは、差分的にプライベートな凸学習のモデルサイズ依存に関する既知の結果と矛盾しているように見える。
• 参考スコア（独自算出の注目度）: 43.833397016656704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pretrained models can be privately fine-tuned to achieve performance approaching that of non-private models. A common theme in these results is the surprising observation that high-dimensional models can achieve favorable privacy-utility trade-offs. This seemingly contradicts known results on the model-size dependence of differentially private convex learning and raises the following research question: When does the performance of differentially private learning not degrade with increasing model size? We identify that the magnitudes of gradients projected onto subspaces is a key factor that determines performance. To precisely characterize this for private convex learning, we introduce a condition on the objective that we term restricted Lipschitz continuity and derive improved bounds for the excess empirical and population risks that are dimension-independent under additional conditions. We empirically show that in private fine-tuning of large language models, gradients evaluated near a local optimum are mostly controlled by a few principal components. This behavior is similar to conditions under which we obtain dimension-independent bounds in convex settings. Our theoretical and empirical results together provide a possible explanation for recent successes in large-scale private fine-tuning.
• Abstract（参考訳）: 大きな事前訓練されたモデルは、プライベートでないモデルに近づくパフォーマンスを達成するために、プライベートに微調整することができる。 これらの結果に共通するテーマは、高次元モデルが良好なプライバシーとユーティリティのトレードオフを達成できるという驚くべき観察である。 これは、微分プライベートな凸学習のモデルサイズ依存性に関する既知の結果と矛盾しているように見え、以下の研究疑問を提起する。 部分空間に投影される勾配の大きさは、性能を決定する重要な要因である。 プライベート凸学習においてこれを正確に特徴付けるために,リプシッツ連続性を制限した条件を導入し,追加条件下で次元に依存しない過剰な経験的・集団的リスクに対する改善された境界を導出する。 実験により,大規模言語モデルのプライベート微調整において,局所的最適付近で評価された勾配は,主にいくつかの主成分によって制御されることを示した。 この挙動は凸設定で次元独立な境界を得る条件と似ている。 我々の理論的および実証的な結果は、大規模私的微調整における最近の成功の可能性を説明できる。

関連論文リスト

• Training Private Models That Know What They Don't Know [40.19666295972155]
  いくつかの一般的な選択的予測手法は、差分的にプライベートな環境では効果がないことがわかった。 モデルユーティリティレベルを越えた選択予測性能を分離する新しい評価機構を提案する。
  論文  参考訳（メタデータ） (2023-05-28T12:20:07Z)
• Private Gradient Estimation is Useful for Generative Modeling [25.777591229903596]
  そこで本研究では,サンプルをハミルトン力学で生成し,よく訓練されたネットワークから推定したプライベートデータセットの勾配を推定する手法を提案する。 我々のモデルは256x256の解像度でデータを生成することができる。
  論文  参考訳（メタデータ） (2023-05-18T02:51:17Z)
• Enforcing Privacy in Distributed Learning with Performance Guarantees [57.14673504239551]
  分散学習と最適化戦略の民営化について検討する。 グラフ構造に対して十分に調整されていないため, 一般的な加法的乱乱摂動方式は性能を低下させることを示す。
  論文  参考訳（メタデータ） (2023-01-16T13:03:27Z)
• Differential Privacy has Bounded Impact on Fairness in Classification [7.022004731560844]
  分類における差分プライバシーが公平性に与える影響について検討する。 モデルのクラスを考えると、一般的な群フェアネス測度はモデルのパラメータに関してポイントワイズ・リプシッツ連続であることが証明される。
  論文  参考訳（メタデータ） (2022-10-28T16:19:26Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Learning to be adversarially robust and differentially private [42.7930886063265]
  我々は、頑健で微分プライベートな最適化から生じる学習の難しさについて研究する。 プライベート最適化によって導入されたデータ次元依存用語は、堅牢なモデルを学ぶのが困難である。 差分プライバシーにおける敵の一般化とクリッピング規範の大きさは、損失景観の曲率を増大させ、性能の低下を示唆する。
  論文  参考訳（メタデータ） (2022-01-06T22:33:06Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• The Influence of Dropout on Membership Inference in Differentially Private Models [0.0]
  異なるプライベートモデルは、モデルがトレーニングしたデータのプライバシ保護を目指している。 我々は、差分プライバシーのないモデルに対する会員推測攻撃を行う。
  論文  参考訳（メタデータ） (2021-03-16T12:09:51Z)
• Do Not Let Privacy Overbill Utility: Gradient Embedding Perturbation for Private Learning [74.73901662374921]
  差分プライベートモデルは、モデルが多数のトレーニング可能なパラメータを含む場合、ユーティリティを劇的に劣化させる。 偏微分プライベート深層モデルの精度向上のためのアルゴリズムemphGradient Embedding Perturbation (GEP)を提案する。
  論文  参考訳（メタデータ） (2021-02-25T04:29:58Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。