論文の概要: Characterizing the Training Dynamics of Private Fine-tuning with Langevin diffusion
- arxiv url: http://arxiv.org/abs/2402.18905v2
- Date: Fri, 07 Nov 2025 18:52:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-10 21:00:44.460617
- Title: Characterizing the Training Dynamics of Private Fine-tuning with Langevin diffusion
- Title（参考訳）: ランゲヴィン拡散を伴うプライベートファインチューニングのトレーニングダイナミクスのキャラクタリゼーション
- Authors: Shuqi Ke, Charlie Hou, Sewoong Oh, Giulia Fanti,
- Abstract要約: そこで本研究では,DP-FFTとDP-FFTを併用することにより,理論的および経験的両方の結果に基づいて,事前訓練した背骨の特徴を歪曲することができることを示す。
逐次的な微調整戦略が特徴歪みを軽減することを実証する。
- 参考スコア（独自算出の注目度）: 37.98959061338993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We show that differentially private full fine-tuning (DP-FFT) can distort pre-trained backbone features based on both theoretical and empirical results. We identify the cause of the distortion as the misalignment between the pre-trained backbone and the randomly initialized linear head. We prove that a sequential fine-tuning strategy can mitigate the feature distortion: first-linear-probing-then-fine-tuning (DP-LP-FFT). A new approximation scheme allows us to derive approximate upper and lower bounds on the training loss of DP-LP and DP-FFT, in a simple but canonical setting of 2-layer neural networks with ReLU activation. Experiments on real-world datasets and architectures are consistent with our theoretical insights. We also derive new upper bounds for 2-layer linear networks without the approximation. Moreover, our theory suggests a trade-off of privacy budget allocation in multi-phase fine-tuning methods like DP-LP-FFT.
- Abstract（参考訳）: そこで本研究では,DP-FFTとDP-FFTを併用することにより,理論的および経験的両方の結果に基づいて,事前訓練した背骨の特徴を歪曲することができることを示す。
我々は,歪みの原因を,事前学習したバックボーンとランダムに初期化したリニアヘッドとの相違として同定する。
逐次微調整戦略が特徴歪みを軽減することが証明された: 1次線形プロビング-then-fine-tuning (DP-LP-FFT)。
DP-LP と DP-FFT のトレーニング損失について,ReLU を活性化した2層ニューラルネットワークの単純かつ正則な設定で近似的に上界と下界を導出する手法を提案する。
実世界のデータセットとアーキテクチャの実験は、私たちの理論的洞察と一致しています。
また,近似を伴わない2層線形ネットワークに対して,新たな上限を導出する。
さらに,DP-LP-FFTのような多相微調整手法におけるプライバシー予算配分のトレードオフが示唆された。
関連論文リスト
- On the Performance of Differentially Private Optimization with Heavy-Tail Class Imbalance [1.1218431616419589]
低周波クラスを学習する際の差分プライバシー(DP-GD)によるグラディエントDescentの最適化について,スタイリングモデルを用いて検討した。
特にDP-AdamBCは、損失曲率の推定からDPバイアスを除去し、重テール級の不均衡に起因する悪条件を避けるために重要な要素である。
論文 参考訳（メタデータ） (2025-07-14T17:57:08Z) - Fixed-Mean Gaussian Processes for Post-hoc Bayesian Deep Learning [11.22428369342346]
普遍カーネルを用いた場合、後続平均を任意の連続関数に固定する、スパース変分ガウス過程(GP)の新たなファミリを導入する。
具体的には、このGPの平均値を事前学習したDNNの出力に固定し、GPの予測分散を効果的に適合させて予測の不確かさを推定する。
実験の結果,FMGPは最先端手法と比較して不確実性評価と計算効率を両立させることがわかった。
論文 参考訳（メタデータ） (2024-12-05T14:17:16Z) - Noise-Aware Differentially Private Regression via Meta-Learning [25.14514068630219]
差別化プライバシ(DP)は、ユーザのプライバシを保護するための金の標準であるが、標準のDPメカニズムはパフォーマンスを著しく損なう。
この問題を緩和する1つのアプローチは、DPがプライベートデータで学習する前にシミュレーションデータ上でモデルを事前訓練することである。
本研究では、シミュレーションデータを用いて、畳み込み条件ニューラルネットワーク(ConvCNP)と改良された機能DPメカニズムを組み合わせたメタ学習モデルをトレーニングする。
論文 参考訳（メタデータ） (2024-06-12T18:11:24Z) - Arbitrary Decisions are a Hidden Cost of Differentially Private Training [7.560688419767116]
機械学習で使用されるメカニズムは、しばしばモデルトレーニング中に差分プライバシー(DP)を保証することを目的としている。
モデルパラメータをプライバシに敏感なデータに適合させる際にランダム化を利用する。
与えられた入力の例として、等プライベートなモデルによって予測される出力は、トレーニングで使用されるランダム性に依存する。
論文 参考訳（メタデータ） (2023-02-28T12:13:43Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳（メタデータ） (2022-06-27T03:45:02Z) - Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping [40.69950711262191]
我々は、差分プライベート(DP)を保証する重み付きデータに対する差分プライベート凸最適化について検討する。
我々は,制約付きおよび制約なし凸問題に対するAClipped-dpSGDというアルゴリズムに対して,新たな収束結果を確立し,複雑性境界を改善した。
論文 参考訳（メタデータ） (2022-06-27T01:39:15Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳（メタデータ） (2022-05-27T11:13:17Z) - What You See is What You Get: Distributional Generalization for
Algorithm Design in Deep Learning [12.215964287323876]
微分プライバシー(DP)と分布一般化(DG)の概念の関連性について検討・活用する。
我々は、標準勾配降下(SGD)の「病理」をバイパスするディープラーニング手法を設計するための新しい概念ツールを導入する。
論文 参考訳（メタデータ） (2022-04-07T05:41:40Z) - Fine-Tuning can Distort Pretrained Features and Underperform
Out-of-Distribution [100.01469697743322]
微調整は、事前訓練された特徴が良好で分布シフトが大きい場合、線形探索よりも精度が良くなる。
我々は,このIDとOODの精度のトレードオフが,簡単な設定でも生じることを理論的に示す。
解析の結果,線形探究の容易な2段階戦略は,線形探究と線形探究の両方の利点を併せ持つことが明らかとなった。
論文 参考訳（メタデータ） (2022-02-21T09:03:34Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳（メタデータ） (2021-01-11T19:43:12Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳（メタデータ） (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。