論文の概要: Adversarial Pretraining of Self-Supervised Deep Networks: Past, Present and Future

• arxiv url: http://arxiv.org/abs/2210.13463v1
• Date: Sun, 23 Oct 2022 13:14:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 13:00:48.612935
• Title: Adversarial Pretraining of Self-Supervised Deep Networks: Past, Present and Future
• Title（参考訳）: 自己教師付き深層ネットワークのadversarial pretraining : 過去・現在・未来
• Authors: Guo-Jun Qi and Mubarak Shah
• Abstract要約: 本稿では,畳み込みニューラルネットワークと視覚変換器の両方を含む自己教師型深層ネットワークの対角的事前学習について検討する。 対戦相手を入力レベルと特徴レベルのいずれかの事前学習モデルに組み込むには、既存のアプローチは2つのグループに大別される。
• 参考スコア（独自算出の注目度）: 132.34745793391303
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this paper, we review adversarial pretraining of self-supervised deep networks including both convolutional neural networks and vision transformers. Unlike the adversarial training with access to labeled examples, adversarial pretraining is complicated as it only has access to unlabeled examples. To incorporate adversaries into pretraining models on either input or feature level, we find that existing approaches are largely categorized into two groups: memory-free instance-wise attacks imposing worst-case perturbations on individual examples, and memory-based adversaries shared across examples over iterations. In particular, we review several representative adversarial pretraining models based on Contrastive Learning (CL) and Masked Image Modeling (MIM), respectively, two popular self-supervised pretraining methods in literature. We also review miscellaneous issues about computing overheads, input-/feature-level adversaries, as well as other adversarial pretraining approaches beyond the above two groups. Finally, we discuss emerging trends and future directions about the relations between adversarial and cooperative pretraining, unifying adversarial CL and MIM pretraining, and the trade-off between accuracy and robustness in adversarial pretraining.
• Abstract（参考訳）: 本稿では,畳み込みニューラルネットワークと視覚トランスフォーマーの両方を含む,自己教師付き深層ネットワークの逆事前学習について検討する。 ラベル付きの例にアクセスできる敵の訓練とは異なり、敵の事前訓練はラベルなしの例のみにアクセスできるため複雑である。 攻撃を入力レベルと機能レベルの両方の事前トレーニングモデルに組み込むため、既存のアプローチは2つのグループに大別されていることが分かりました。 特に,コントラシブ・ラーニング(CL)とマスケッド・イメージ・モデリング(MIM)に基づく複数の代表的な対人事前訓練モデルについて検討し,文献における2つの一般的な自己教師付き事前訓練手法について述べる。 また, 計算オーバーヘッド, 入力/機能レベルの敵, および上記の2つのグループ以上の敵の事前訓練アプローチに関する諸問題についても検討した。 最後に, 対向前訓練と協調前訓練の関係, 対向clとmim前訓練の一体化, および対向前訓練における正確性と堅牢性とのトレードオフについて, 新たな傾向と今後の方向性について考察する。

関連論文リスト

• Protecting Feed-Forward Networks from Adversarial Attacks Using Predictive Coding [0.20718016474717196]
  逆の例は、機械学習(ML)モデルが誤りを犯すように設計された、修正された入力イメージである。 本研究では,敵防衛のための補助的なステップとして,予測符号化ネットワーク(PCnet)を用いた実用的で効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T21:38:05Z)
• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• Adversarial Robustness of Deep Reinforcement Learning based Dynamic Recommender Systems [50.758281304737444]
  本稿では,強化学習に基づく対話型レコメンデーションシステムにおける敵例の探索と攻撃検出を提案する。 まず、入力に摂動を加え、カジュアルな要因に介入することで、異なる種類の逆例を作成する。 そこで,本研究では,人工データに基づく深層学習に基づく分類器による潜在的攻撃を検出することにより,推薦システムを強化した。
  論文  参考訳（メタデータ） (2021-12-02T04:12:24Z)
• Adversarial Momentum-Contrastive Pre-Training [20.336258934272102]
  adversarial self-supervised pre-trainingは、データ拡張とadversarial perturbationの両方の下で不変表現を抽出するのに役立つ。 本稿では,新しい対向運動量比較(AMOC)事前学習手法を提案する。 既存の自己監督型プリトレーニングアプローチと比較して、AMOCはより小さなバッチサイズとより少ないトレーニングエポックを使用できますが、より堅牢な機能を学びます。
  論文  参考訳（メタデータ） (2020-12-24T07:49:10Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Semantics-Preserving Adversarial Training [12.242659601882147]
  逆行訓練は、訓練データに逆行例を含めることで、ディープニューラルネットワーク(DNN)の逆行性を改善する技術である。 本研究では,すべてのクラスで共有される画素の摂動を促すセマンティックス保存逆行訓練(SPAT)を提案する。 実験の結果,SPATは対向ロバスト性を向上し,CIFAR-10およびCIFAR-100の最先端結果を達成することがわかった。
  論文  参考訳（メタデータ） (2020-09-23T07:42:14Z)
• REGroup: Rank-aggregating Ensemble of Generative Classifiers for Robust Predictions [6.0162772063289784]
  敵の訓練やランダムな入力変換を採用する防衛戦略は、合理的なパフォーマンスを達成するために、モデルの再訓練や微調整を必要とするのが普通である。 中間層の神経応答を統計的に特徴付けることにより, 生成型分類器を学習し, トレーニングサンプルをクリーンにすることができる。 提案手法は, クリーントレーニングデータのサブセットと事前学習モデルを用いており, ネットワークアーキテクチャや敵攻撃生成手法に非依存である。
  論文  参考訳（メタデータ） (2020-06-18T17:07:19Z)
• Class-Aware Domain Adaptation for Improving Adversarial Robustness [27.24720754239852]
  学習データに敵の例を注入することにより,ネットワークを訓練するための敵の訓練が提案されている。 そこで本研究では,対人防御のための新しいクラスアウェアドメイン適応法を提案する。
  論文  参考訳（メタデータ） (2020-05-10T03:45:19Z)
• Dynamic Divide-and-Conquer Adversarial Training for Robust Semantic Segmentation [79.42338812621874]
  敵のトレーニングは、敵の摂動に対するディープニューラルネットワークの堅牢性を改善することを約束している。 本研究は, 敵とクリーンの両方のサンプルに対して良好に動作可能な, 汎用的な敵の訓練手順を定式化する。 本稿では,防衛効果を高めるための動的分割対対人訓練(DDC-AT)戦略を提案する。
  論文  参考訳（メタデータ） (2020-03-14T05:06:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。