論文の概要: Neural Collapse Meets Differential Privacy: Curious Behaviors of NoisyGD with Near-perfect Representation Learning
- arxiv url: http://arxiv.org/abs/2405.08920v1
- Date: Tue, 14 May 2024 19:18:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-16 15:05:10.365913
- Title: Neural Collapse Meets Differential Privacy: Curious Behaviors of NoisyGD with Near-perfect Representation Learning
- Title（参考訳）: Neural Collapse with Differential Privacy: Curious Behaviors of NoisyGD with Near-perfect Representation Learning
- Authors: Chendi Wang, Yuqing Zhu, Weijie J. Su, Yu-Xiang Wang,
- Abstract要約: 本稿では,表現学習における階層型モデルの設定について考察し,深層学習と伝達学習における学習特徴に関連する興味深い現象について考察する。
DPの微調整はDPのない微調整に比べ、特に摂動の存在下では堅牢性が低いことを示す。
- 参考スコア（独自算出の注目度）: 36.954726737451224
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A recent study by De et al. (2022) has reported that large-scale representation learning through pre-training on a public dataset significantly enhances differentially private (DP) learning in downstream tasks, despite the high dimensionality of the feature space. To theoretically explain this phenomenon, we consider the setting of a layer-peeled model in representation learning, which results in interesting phenomena related to learned features in deep learning and transfer learning, known as Neural Collapse (NC). Within the framework of NC, we establish an error bound indicating that the misclassification error is independent of dimension when the distance between actual features and the ideal ones is smaller than a threshold. Additionally, the quality of the features in the last layer is empirically evaluated under different pre-trained models within the framework of NC, showing that a more powerful transformer leads to a better feature representation. Furthermore, we reveal that DP fine-tuning is less robust compared to fine-tuning without DP, particularly in the presence of perturbations. These observations are supported by both theoretical analyses and experimental evaluation. Moreover, to enhance the robustness of DP fine-tuning, we suggest several strategies, such as feature normalization or employing dimension reduction methods like Principal Component Analysis (PCA). Empirically, we demonstrate a significant improvement in testing accuracy by conducting PCA on the last-layer features.
- Abstract（参考訳）: De et al (2022) による最近の研究によると、公共データセットの事前学習による大規模表現学習は、特徴空間の高次元性にもかかわらず、下流タスクにおける差分プライベート(DP)学習を著しく向上させる。
この現象を理論的に説明するために,表現学習における階層型モデルの設定を考察し,ニューラルネットワーク(NC)と呼ばれる深層学習における学習特徴に関連する興味深い現象について考察した。
NCの枠組み内では、誤分類誤差が実際の特徴と理想的なものの間の距離がしきい値より小さい場合の次元に依存しないことを示す誤差境界を確立する。
さらに、最後のレイヤの機能の品質は、NCのフレームワーク内でトレーニング済みのさまざまなモデルの下で実証的に評価され、より強力なトランスフォーマーがより優れた機能表現をもたらすことを示す。
さらに,DPの微調整はDPのない微調整に比べ,特に摂動の存在下では頑健ではないことが明らかとなった。
これらの観測は、理論的分析と実験的評価の両方によって支持されている。
さらに,DP微調整の堅牢性を高めるため,特徴正規化や主成分分析(PCA)のような次元削減手法の採用など,いくつかの戦略を提案する。
実験では, 最終層の特徴に対してPCAを施すことにより, テスト精度を大幅に向上することを示した。
関連論文リスト
- PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。
近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。
我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
論文 参考訳（メタデータ） (2024-06-09T07:29:55Z) - Supervised Contrastive Representation Learning: Landscape Analysis with
Unconstrained Features [33.703796571991745]
最近の研究では、ゼロトレーニングを超えて訓練された過度パラメータ化されたディープニューラルネットワークが、最終層に特徴的な構造パターンを示すことが明らかになっている。
これらの結果から,これらのネットワークにおける最終層出力はクラス内変動が最小限であることがわかった。
論文 参考訳（メタデータ） (2024-02-29T06:02:45Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Towards Demystifying the Generalization Behaviors When Neural Collapse
Emerges [132.62934175555145]
Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である
本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。
我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
論文 参考訳（メタデータ） (2023-10-12T14:29:02Z) - Understanding and Improving Transfer Learning of Deep Models via Neural Collapse [37.483109067209504]
分類問題に対する神経崩壊(NC)と伝達学習の関係について検討する。
機能崩壊と下流のパフォーマンスには強い相関関係がある。
提案手法は, 微調整パラメータを90%以上削減しつつ, 優れた性能を実現する。
論文 参考訳（メタデータ） (2022-12-23T08:48:34Z) - Perturbation Analysis of Neural Collapse [24.94449183555951]
分類のためのディープニューラルネットワークのトレーニングには、ゼロトレーニングエラー点を超えるトレーニング損失を最小限にすることが含まれる。
最近の研究は、全ての最小化器が正確な崩壊を示す理想化された制約のない特徴モデルを通して、この挙動を分析している。
本稿では,この現象を,予め定義された特徴行列の近傍に留まらせることで,よりリッチなモデルを提案する。
論文 参考訳（メタデータ） (2022-10-29T17:46:03Z) - Rethinking Prototypical Contrastive Learning through Alignment,
Uniformity and Correlation [24.794022951873156]
我々は、アライメント、均一性、相関(PAUC)を通して、プロトタイプ表現を学ぶことを提案する。
具体的には,(1)正の原型から埋め込みを抽出するアライメント損失,(2)原型レベルの特徴を均一に分配するアライメント損失,(3)原型レベルの特徴間の多様性と識別性を増大させる相関損失を補正する。
論文 参考訳（メタデータ） (2022-10-18T22:33:12Z) - Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。
最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。
本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
論文 参考訳（メタデータ） (2022-02-16T14:17:37Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z) - Ramifications of Approximate Posterior Inference for Bayesian Deep
Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
論文 参考訳（メタデータ） (2020-09-03T16:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。