論文の概要: DP-RAFT: A Differentially Private Recipe for Accelerated Fine-Tuning
- arxiv url: http://arxiv.org/abs/2212.04486v1
- Date: Thu, 8 Dec 2022 18:56:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 15:16:45.862596
- Title: DP-RAFT: A Differentially Private Recipe for Accelerated Fine-Tuning
- Title(参考訳): DP-RAFT:加速ファインチューニングのための微分プライベートレシピ
- Authors: Ashwinee Panda, Xinyu Tang, Vikash Sehwag, Saeed Mahloujifar, Prateek
Mittal
- Abstract要約: 本稿では,最新のオープンソースモデルから抽出した特徴を用いて,コンピュータビジョンと自然言語処理のベンチマークタスクを解決する。
私たちの重要な洞察は、トレーニングを加速することで、ノイズの影響を最小限に抑えるパラメータ空間内の領域にモデルパラメータを素早く駆動できるということです。
- 参考スコア(独自算出の注目度): 32.00942920570762
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A major direction in differentially private machine learning is
differentially private fine-tuning: pretraining a model on a source of "public
data" and transferring the extracted features to downstream tasks.
This is an important setting because many industry deployments fine-tune
publicly available feature extractors on proprietary data for downstream tasks.
In this paper, we use features extracted from state-of-the-art open source
models to solve benchmark tasks in computer vision and natural language
processing using differentially private fine-tuning. Our key insight is that by
accelerating training, we can quickly drive the model parameters to regions in
parameter space where the impact of noise is minimized. In doing so, we recover
the same performance as non-private fine-tuning for realistic values of epsilon
in [0.01, 1.0] on benchmark image classification datasets including CIFAR100.
- Abstract(参考訳): 差分プライベート機械学習の主な方向性は、"パブリックデータ"のソース上でモデルを事前訓練し、抽出した特徴を下流タスクに転送することである。
多くの業界展開では、ダウンストリームタスク用のプロプライエタリなデータに対して、公開可能な機能抽出子を微調整しているため、これは重要な設定です。
本稿では,最先端オープンソースモデルから抽出した特徴を用いて,コンピュータビジョンと自然言語処理におけるベンチマークタスクを差分プライベート微調整を用いて解決する。
私たちの重要な洞察は、トレーニングを加速することで、ノイズの影響を最小限に抑えるパラメータ空間内の領域にモデルパラメータを素早く駆動できるということです。
CIFAR100を含むベンチマーク画像分類データセットにおいて,[0.01, 1.0]におけるエプシロンの現実的値の非プライベート微調整と同じ性能を回復する。
関連論文リスト
- Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳(メタデータ) (2024-01-09T03:53:59Z) - Adaptive Differential Privacy in Federated Learning: A Priority-Based
Approach [0.0]
フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。
DPはパラメータに一定のノイズを加えることで、プライバシーを保証するフレームワークを提供する。
本稿では,特徴量の相対的重要度に基づいて入射雑音の値を決定するFLの適応雑音付加法を提案する。
論文 参考訳(メタデータ) (2024-01-04T03:01:15Z) - Choosing Public Datasets for Private Machine Learning via Gradient
Subspace Distance [35.653510597396114]
差分的なプライベート勾配降下は、各反復にノイズを注入することで、モデルパラメータの数に応じてノイズの大きさが増加するモデルトレーニングを民営化する。
近年の研究では、パブリックデータによって規定される部分空間に勾配を投影することにより、パブリックデータをプライベート機械学習に活用することでノイズを低減できることが示唆されている。
我々は,公立と私設の例の勾配の低次元部分空間距離を測定することで,公開データセットを選択するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-03-02T13:36:28Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Fine-Tuning with Differential Privacy Necessitates an Additional
Hyperparameter Search [38.83524780461911]
トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。
ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
論文 参考訳(メタデータ) (2022-10-05T11:32:49Z) - Pre-trained Perceptual Features Improve Differentially Private Image
Generation [8.659595986100738]
差分降下勾配(DP-SGD)を用いた中等度生成モデルの訓練も困難である。
私たちは、情報のある公開データセット上に適切な、関連する表現を構築し、その表現でプライベートデータをモデル化することを学びます。
私たちの研究は、プライベートと非プライベートの深層生成モデルの間のギャップを減らすための、シンプルで強力な基盤を導入しています。
論文 参考訳(メタデータ) (2022-05-25T16:46:01Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Mixed Differential Privacy in Computer Vision [133.68363478737058]
AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。
プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
論文 参考訳(メタデータ) (2022-03-22T06:15:43Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳(メタデータ) (2021-11-01T18:10:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。