論文の概要: An Optimization Framework for Differentially Private Sparse Fine-Tuning
- arxiv url: http://arxiv.org/abs/2503.12822v1
- Date: Mon, 17 Mar 2025 05:05:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 12:35:39.221645
- Title: An Optimization Framework for Differentially Private Sparse Fine-Tuning
- Title（参考訳）: 微分プライベートスパースファインチューニングのための最適化フレームワーク
- Authors: Mehdi Makni, Kayhan Behdin, Gabriel Afriat, Zheng Xu, Sergei Vassilvitskii, Natalia Ponomareva, Hussein Hazimeh, Rahul Mazumder,
- Abstract要約: 差分的プライベート勾配降下(DP-SGD)は、差分プライバシー(DP)の下でのトレーニングおよび微調整ニューラルネットワークのゴールドスタンダードであると考えられている。
最近の研究によると、プライベートな微調整はモデルの重量のごく一部に過ぎず、残りの重量を固定し続けることで性能が向上する。
本研究では,DP下でのニューラルネットワークのスパース微調整のための新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 24.545715091775488
- License:
- Abstract: Differentially private stochastic gradient descent (DP-SGD) is broadly considered to be the gold standard for training and fine-tuning neural networks under differential privacy (DP). With the increasing availability of high-quality pre-trained model checkpoints (e.g., vision and language models), fine-tuning has become a popular strategy. However, despite recent progress in understanding and applying DP-SGD for private transfer learning tasks, significant challenges remain -- most notably, the performance gap between models fine-tuned with DP-SGD and their non-private counterparts. Sparse fine-tuning on private data has emerged as an alternative to full-model fine-tuning; recent work has shown that privately fine-tuning only a small subset of model weights and keeping the rest of the weights fixed can lead to better performance. In this work, we propose a new approach for sparse fine-tuning of neural networks under DP. Existing work on private sparse finetuning often used fixed choice of trainable weights (e.g., updating only the last layer), or relied on public model's weights to choose the subset of weights to modify. Such choice of weights remains suboptimal. In contrast, we explore an optimization-based approach, where our selection method makes use of the private gradient information, while using off the shelf privacy accounting techniques. Our numerical experiments on several computer vision models and datasets show that our selection method leads to better prediction accuracy, compared to full-model private fine-tuning or existing private sparse fine-tuning approaches.
- Abstract（参考訳）: ディファレンシャル・プライベート・確率勾配勾配(DP-SGD)は、ディファレンシャル・プライバシ(DP)の下でのトレーニングおよび微調整ニューラルネットワークのゴールドスタンダードであると考えられている。
高品質な事前訓練されたモデルチェックポイント(例えば、ビジョンと言語モデル)が利用可能になるにつれて、微調整が一般的な戦略となっている。
しかし、プライベートトランスファー学習タスクに対するDP-SGDの理解と適用の最近の進歩にもかかわらず、重要な課題が残っている。
最近の研究では、モデル重量の小さなサブセットのみをプライベートに微調整し、残りの重みを固定しておくことでパフォーマンスが向上することが示されている。
本研究では,DP下でのニューラルネットワークのスパース微調整のための新しい手法を提案する。
既存のプライベートスパースファインタニングの作業では、トレーニング可能な重量(例えば、最後の層のみを更新する)の固定的な選択を使ったり、あるいは修正する重量のサブセットを選択するために公共モデルの重量に依存したりすることが多かった。
このような重みの選択は依然として最適ではない。
対照的に、我々は最適化に基づくアプローチを探求し、プライバシ会計のオフ手法を用いてプライベート勾配情報を利用する。
いくつかのコンピュータビジョンモデルとデータセットに関する数値実験により,提案手法は,完全モデルプライベート微調整法や既存のプライベートスパース微調整法と比較して,予測精度が向上することが示された。
関連論文リスト
- Differential Privacy Regularization: Protecting Training Data Through Loss Function Regularization [49.1574468325115]
ニューラルネットワークに基づく機械学習モデルのトレーニングには、機密情報を含む大きなデータセットが必要である。
差分的にプライベートなSGD [DP-SGD] は、新しいモデルをトレーニングするために標準勾配降下アルゴリズム(SGD)を変更する必要がある。
より効率的な方法で同じ目標を達成するための新しい正規化戦略が提案されている。
論文 参考訳（メタデータ） (2024-09-25T17:59:32Z) - Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。
DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
論文 参考訳（メタデータ） (2024-01-09T03:53:59Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-14T17:59:51Z) - Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。
DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
論文 参考訳（メタデータ） (2022-12-01T07:26:49Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳（メタデータ） (2021-11-01T18:10:21Z) - Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。
この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。
本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文 参考訳（メタデータ） (2021-10-12T01:45:27Z) - DPlis: Boosting Utility of Differentially Private Deep Learning via
Randomized Smoothing [0.0]
DPlis--Differentially Private Learning wIth Smoothingを提案します。
DPlisは,プライバシ予算の下でモデル品質とトレーニングの安定性を効果的に向上させることができることを示す。
論文 参考訳（メタデータ） (2021-03-02T06:33:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。