論文の概要: Better Representations via Adversarial Training in Pre-Training: A Theoretical Perspective

• arxiv url: http://arxiv.org/abs/2401.15248v1
• Date: Fri, 26 Jan 2024 23:52:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 19:11:41.837197
• Title: Better Representations via Adversarial Training in Pre-Training: A Theoretical Perspective
• Title（参考訳）: プレトライニングにおける対人訓練によるより良い表現:理論的視点
• Authors: Yue Xing, Xiaofeng Lin, Qifan Song, Yi Xu, Belinda Zeng, Guang Cheng
• Abstract要約: 本研究では,事前学習したモデルと下流タスクの相反するロバスト性を結合する上で,特徴の浄化が重要な役割を担っていることを示す。 清浄なノードでは、清浄なトレーニングは下流のタスクにおける敵の堅牢性を達成するのに十分であることがわかった。
• 参考スコア（独自算出の注目度）: 30.871769067624836
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pre-training is known to generate universal representations for downstream tasks in large-scale deep learning such as large language models. Existing literature, e.g., \cite{kim2020adversarial}, empirically observe that the downstream tasks can inherit the adversarial robustness of the pre-trained model. We provide theoretical justifications for this robustness inheritance phenomenon. Our theoretical results reveal that feature purification plays an important role in connecting the adversarial robustness of the pre-trained model and the downstream tasks in two-layer neural networks. Specifically, we show that (i) with adversarial training, each hidden node tends to pick only one (or a few) feature; (ii) without adversarial training, the hidden nodes can be vulnerable to attacks. This observation is valid for both supervised pre-training and contrastive learning. With purified nodes, it turns out that clean training is enough to achieve adversarial robustness in downstream tasks.
• Abstract（参考訳）: 事前学習は、大規模言語モデルのような大規模ディープラーニングにおいて、下流タスクの普遍的な表現を生成することが知られている。 既存の文献、例えば \cite{kim2020adversarial} は、下流のタスクが事前訓練されたモデルの逆方向の堅牢性を継承できることを実証的に観察する。 この堅牢性継承現象の理論的正当化を提供する。 提案手法は,2層ニューラルネットワークにおいて,事前学習モデルと下流課題を連携させる上で重要な役割を担っている。 具体的には (i) 敵対的訓練では、各隠れたノードは1つ(または数個)の機能のみを選択する傾向がある。 (ii) 敵の訓練がなければ、隠れたノードは攻撃に対して脆弱である。 この観察は教師付き事前学習とコントラスト学習の両方に有効である。 清浄されたノードでは、クリーントレーニングは下流タスクで敵対的ロバスト性を達成するのに十分であることがわかった。

関連論文リスト

• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries [69.53730499849023]
  また, 予測誤差を誘導するために, 逆例を独立に学習した別のモデルに移すことが可能であることを示す。 本稿では,頑健な伝達可能な特徴抽出器(RTFE)と呼ばれる,ディープラーニングに基づく事前処理機構を提案する。
  論文  参考訳（メタデータ） (2022-09-14T21:09:34Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Finding Dynamics Preserving Adversarial Winning Tickets [11.05616199881368]
  プランニング法は, モデルキャパシティを低減し, 同時に対向ロバスト性を向上させるために, 対向文脈において検討されてきた。 既存の逆プルーニング法は、通常、3段階の「トレーニング・プルーニング・ファインチューニング」パイプラインに従う、自然訓練のための古典的なプルーニング法を模倣する。 我々は,AWTが対人訓練の力学を保ち,高密度対人訓練と同等の性能を発揮するという実証的証拠を示す。
  論文  参考訳（メタデータ） (2022-02-14T05:34:24Z)
• How does unlabeled data improve generalization in self-training? A one-hidden-layer theoretical analysis [93.37576644429578]
  この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。 トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。 また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
  論文  参考訳（メタデータ） (2022-01-21T02:16:52Z)
• Understanding the Logit Distributions of Adversarially-Trained Deep Neural Networks [6.439477789066243]
  敵の防御は、敵の攻撃による入力摂動に不変であるように、ディープニューラルネットワークを訓練する。 敵の攻撃を緩和するためには敵の訓練が成功しているが、敵の訓練を受けた(AT)モデルと標準モデルとの行動的差異はいまだに理解されていない。 対向性学習に不可欠な3つのロジット特性を同定する。
  論文  参考訳（メタデータ） (2021-08-26T19:09:15Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Towards Achieving Adversarial Robustness by Enforcing Feature Consistency Across Bit Planes [51.31334977346847]
  我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。 異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-04-01T09:31:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。