論文の概要: On the Convergence of Differentially-Private Fine-tuning: To Linearly Probe or to Fully Fine-tune?

• arxiv url: http://arxiv.org/abs/2402.18905v1
• Date: Thu, 29 Feb 2024 07:01:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 15:55:40.038190
• Title: On the Convergence of Differentially-Private Fine-tuning: To Linearly Probe or to Fully Fine-tune?
• Title（参考訳）: 微分プライベート微調整の収束について:線形プローブか完全微調整か?
• Authors: Shuqi Ke, Charlie Hou, Giulia Fanti, Sewoong Oh
• Abstract要約: 差分プライベート(DP)機械学習パイプラインは通常、プライベートデータの非プライベート事前トレーニングと微調整という、2段階のプロセスを含む。 完全な微調整は、分散データであっても、必ずしも最良のテスト精度が得られるとは限らないことが観察されている。 本稿では,DPリニアプローブ(LP)とフル微調整(FT)のトレーニングダイナミクスを解析し,逐次微調整現象について考察する。
• 参考スコア（独自算出の注目度）: 37.6189089828733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentially private (DP) machine learning pipelines typically involve a two-phase process: non-private pre-training on a public dataset, followed by fine-tuning on private data using DP optimization techniques. In the DP setting, it has been observed that full fine-tuning may not always yield the best test accuracy, even for in-distribution data. This paper (1) analyzes the training dynamics of DP linear probing (LP) and full fine-tuning (FT), and (2) explores the phenomenon of sequential fine-tuning, starting with linear probing and transitioning to full fine-tuning (LP-FT), and its impact on test loss. We provide theoretical insights into the convergence of DP fine-tuning within an overparameterized neural network and establish a utility curve that determines the allocation of privacy budget between linear probing and full fine-tuning. The theoretical results are supported by empirical evaluations on various benchmarks and models. The findings reveal the complex nature of DP fine-tuning methods. These results contribute to a deeper understanding of DP machine learning and highlight the importance of considering the allocation of privacy budget in the fine-tuning process.
• Abstract（参考訳）: 差分プライベート(DP)マシンラーニングパイプラインは通常、パブリックデータセット上でのプライベート事前トレーニングと、DP最適化技術を使用したプライベートデータの微調整という、2フェーズプロセスを含む。 dp設定では, 分布内データにおいても, 完全な微調整が必ずしも最良のテスト精度をもたらすとは限らない。 本稿では, (1) DP線形探傷(LP) とフル微調整(FT) の訓練力学を解析し, (2) 線形探傷からフル微調整(LP-FT)への移行に至るまでの逐次微調整現象とそのテスト損失への影響について検討する。 我々は,過パラメータニューラルネットワーク内のdp微調整の収束に関する理論的知見を提供し,線形プローブと完全微調整の間のプライバシ予算の配分を決定するユーティリティ曲線を確立する。 理論結果は、様々なベンチマークやモデルに関する経験的評価によって支持される。 その結果,DPファインチューニング法の複雑な性質が明らかになった。 これらの結果はDP機械学習の理解を深め、微調整プロセスにおけるプライバシー予算の配分を検討することの重要性を強調している。

関連論文リスト

• Noise-Aware Differentially Private Regression via Meta-Learning [25.14514068630219]
  差別化プライバシ(DP)は、ユーザのプライバシを保護するための金の標準であるが、標準のDPメカニズムはパフォーマンスを著しく損なう。 この問題を緩和する1つのアプローチは、DPがプライベートデータで学習する前にシミュレーションデータ上でモデルを事前訓練することである。 本研究では、シミュレーションデータを用いて、畳み込み条件ニューラルネットワーク(ConvCNP)と改良された機能DPメカニズムを組み合わせたメタ学習モデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-06-12T18:11:24Z)
• Arbitrary Decisions are a Hidden Cost of Differentially Private Training [7.560688419767116]
  機械学習で使用されるメカニズムは、しばしばモデルトレーニング中に差分プライバシー(DP)を保証することを目的としている。 モデルパラメータをプライバシに敏感なデータに適合させる際にランダム化を利用する。 与えられた入力の例として、等プライベートなモデルによって予測される出力は、トレーニングで使用されるランダム性に依存する。
  論文  参考訳（メタデータ） (2023-02-28T12:13:43Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping [40.69950711262191]
  我々は、差分プライベート(DP)を保証する重み付きデータに対する差分プライベート凸最適化について検討する。 我々は,制約付きおよび制約なし凸問題に対するAClipped-dpSGDというアルゴリズムに対して,新たな収束結果を確立し,複雑性境界を改善した。
  論文  参考訳（メタデータ） (2022-06-27T01:39:15Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• What You See is What You Get: Distributional Generalization for Algorithm Design in Deep Learning [12.215964287323876]
  微分プライバシー(DP)と分布一般化(DG)の概念の関連性について検討・活用する。 我々は、標準勾配降下(SGD)の「病理」をバイパスするディープラーニング手法を設計するための新しい概念ツールを導入する。
  論文  参考訳（メタデータ） (2022-04-07T05:41:40Z)
• Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution [100.01469697743322]
  微調整は、事前訓練された特徴が良好で分布シフトが大きい場合、線形探索よりも精度が良くなる。 我々は,このIDとOODの精度のトレードオフが,簡単な設定でも生じることを理論的に示す。 解析の結果,線形探究の容易な2段階戦略は,線形探究と線形探究の両方の利点を併せ持つことが明らかとなった。
  論文  参考訳（メタデータ） (2022-02-21T09:03:34Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。