論文の概要: Differentially Private Bias-Term only Fine-tuning of Foundation Models
- arxiv url: http://arxiv.org/abs/2210.00036v2
- Date: Tue, 4 Oct 2022 17:51:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 10:33:54.046690
- Title: Differentially Private Bias-Term only Fine-tuning of Foundation Models
- Title(参考訳): 微分プライベートバイアス項のみの基礎モデルの微調整
- Authors: Zhiqi Bu, Yu-Xiang Wang, Sheng Zha, George Karypis
- Abstract要約: 差分プライベートバイアス項微調整(DP-BiTFiT)を提案する。
DPアルゴリズムの最先端精度と標準BiTFiTの効率とを一致させる。
幅広いタスクにおいて、DP-BiTFiTは2sim 30times$で、DPフル微調整よりも2sim 8times$安いメモリを使用する。
- 参考スコア(独自算出の注目度): 29.7761220633954
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of differentially private (DP) fine-tuning of large
pre-trained models -- a recent privacy-preserving approach suitable for solving
downstream tasks with sensitive data. Existing work has demonstrated that high
accuracy is possible under strong privacy constraint, yet requires significant
computational overhead or modifications to the network architecture.
We propose differentially private bias-term fine-tuning (DP-BiTFiT), which
matches the state-of-the-art accuracy for DP algorithms and the efficiency of
the standard BiTFiT. DP-BiTFiT is model agnostic (not modifying the network
architecture), parameter efficient (only training about $0.1\%$ of the
parameters), and computation efficient (almost removing the overhead caused by
DP, in both the time and space complexity). On a wide range of tasks, DP-BiTFiT
is $2\sim 30\times$ faster and uses $2\sim 8\times$ less memory than DP full
fine-tuning, even faster than the standard full fine-tuning. This amazing
efficiency enables us to conduct DP fine-tuning on language and vision tasks
with long-sequence texts and high-resolution images, which were computationally
difficult using existing methods.
- Abstract(参考訳): 我々は、大規模な事前訓練されたモデルの差分プライベート(DP)微調整(differentially private)の問題について検討する。
既存の研究は、高いプライバシー制約の下で高い精度が可能であることを示したが、ネットワークアーキテクチャへの大幅な計算オーバーヘッドや修正が必要である。
DPアルゴリズムの最先端精度と標準BiTFiTの効率とを一致させる差分プライベートバイアス項微調整(DP-BiTFiT)を提案する。
DP-BiTFiTは、モデル非依存(ネットワークアーキテクチャを変更しない)、パラメータ効率(パラメータの約0.1セントのトレーニングのみ)、計算効率(時間と空間の複雑さの両方でDPによって引き起こされるオーバーヘッドを取り除く)である。
幅広いタスクにおいて、dp-bitfitは$2\sim 30\times$高速で、$2\sim 8\times$ dp full fine-tuningよりもメモリ使用量が少ない。
この驚くべき効率により,従来の手法では計算が困難であった長文および高解像度画像を用いて,言語および視覚タスクのDP微調整を行うことができる。
関連論文リスト
- Pre-training Differentially Private Models with Limited Public Data [58.945400707033016]
ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。
DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。
公開データの10%しか利用しない新しいDP継続事前学習戦略を提案する。
論文 参考訳(メタデータ) (2024-02-28T23:26:27Z) - Equivariant Differentially Private Deep Learning: Why DP-SGD Needs
Sparser Models [7.49320945341034]
小型で効率的なアーキテクチャ設計は、計算要求がかなり少ない最先端のモデルよりも優れていることを示す。
私たちの結果は、パラメータを最適に活用する効率的なモデルアーキテクチャへの一歩です。
論文 参考訳(メタデータ) (2023-01-30T17:43:47Z) - TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。
プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。
我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
論文 参考訳(メタデータ) (2022-10-07T08:44:35Z) - Differentially Private Optimization on Large Model at Small Cost [39.93710312222771]
差分プライベート(DP)最適化は、正確でプライバシ保護の大きいニューラルネットワークを学ぶための標準パラダイムである。
既存のDP実装は、標準(プライベートでない)トレーニングよりも時間と空間の複雑さが2-1000倍高い。
我々は,既存のDP(同じ精度を実現するため)を実装し,計算コストを大幅に向上するブックキーピング(BK)技術を開発した。
論文 参考訳(メタデータ) (2022-09-30T18:38:53Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - Automatic Clipping: Differentially Private Deep Learning Made Easier and
Stronger [39.93710312222771]
サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。
本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
論文 参考訳(メタデータ) (2022-06-14T19:49:44Z) - SmoothNets: Optimizing CNN architecture design for differentially
private deep learning [69.10072367807095]
DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。
これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。
SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
論文 参考訳(メタデータ) (2022-05-09T07:51:54Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳(メタデータ) (2022-05-06T01:22:20Z) - Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。
この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。
本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文 参考訳(メタデータ) (2021-10-12T01:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。