論文の概要: Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial Defense

• arxiv url: http://arxiv.org/abs/2302.01056v2
• Date: Fri, 2 Jun 2023 05:11:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 20:09:50.559231
• Title: Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial Defense
• Title（参考訳）: 事前訓練された機能を超えて:ノイズ画像モデリングは敵の防御を提供する
• Authors: Zunzhi You, Daochang Liu, Bohyung Han, Chang Xu
• Abstract要約: マスク付き画像モデリング(MIM)は、自己教師付き視覚表現学習のフレームワークとして普及している。 本稿では,この強力な自己教師型学習パラダイムが,下流の分類器に対して対角的ロバスト性を提供する方法について検討する。 我々は,NIMが敵の強靭性を高めることができる,De3と呼ばれるデノナイズのための事前訓練されたデノナイズのためのデノナイズ(denoising)を利用して,敵の防御手法を提案する。
• 参考スコア（独自算出の注目度）: 53.46118888872364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in masked image modeling (MIM) have made it a prevailing framework for self-supervised visual representation learning. The MIM pretrained models, like most deep neural network methods, are still vulnerable to adversarial attacks, limiting their practical application, and this issue has received little research attention. In this paper, we investigate how this powerful self-supervised learning paradigm can provide adversarial robustness to downstream classifiers. During the exploration, we find that noisy image modeling (NIM), a simple variant of MIM that adopts denoising as the pre-text task, reconstructs noisy images surprisingly well despite severe corruption. Motivated by this observation, we propose an adversarial defense method by exploiting the pretrained decoder for denoising, referred to as De^3, through which NIM is able to enhance adversarial robustness beyond providing pretrained features. Furthermore, we incorporate a simple modification, sampling the noise scale hyperparameter from random distributions, and enable the defense to achieve a better and tunable trade-off between accuracy and robustness. Experimental results demonstrate that, in terms of adversarial robustness, NIM is superior compared to MIM thanks to its effective denoising capability. Moreover, the defense provided by NIM achieves performance on par with adversarial training while offering the extra tunability advantage. Source code and models will be made available.
• Abstract（参考訳）: マスク付き画像モデリング(MIM)の最近の進歩により、自己教師付き視覚表現学習のフレームワークとして普及している。 MIM事前訓練されたモデルは、ほとんどのディープニューラルネットワーク手法と同様に、まだ敵の攻撃に対して脆弱であり、実用的応用を制限している。 本稿では,この強力な自己教師型学習パラダイムが,下流の分類器に逆方向の堅牢性をもたらすかを検討する。 調査中, ノイズ画像モデリング (NIM) は, 重度の汚職にもかかわらず, ノイズ画像の再構成が驚くほど良好であることがわかった。 そこで本研究では,プリトレーニングされたデコーダをデノージング用デコーダ(de^3)として活用し,nimがプリトレーニングされた特徴の提供を超越したアドバーサル・ロバスト性を高める手法を提案する。 さらに、簡単な修正を加え、ランダム分布からノイズスケールハイパーパラメータをサンプリングし、ディフェンスが精度とロバストさのトレードオフをより良く調整可能なものにする。 実験の結果, 対向性では, NIMがMIMよりも優れており, 有効デノナイジング能力が高いことがわかった。 さらに、NIMが提供する防御は、追加の調整性優位性を提供しながら、対人訓練と同等のパフォーマンスを達成する。 ソースコードとモデルは利用可能になる。

関連論文リスト

• Protecting Feed-Forward Networks from Adversarial Attacks Using Predictive Coding [0.20718016474717196]
  逆の例は、機械学習(ML)モデルが誤りを犯すように設計された、修正された入力イメージである。 本研究では,敵防衛のための補助的なステップとして,予測符号化ネットワーク(PCnet)を用いた実用的で効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T21:38:05Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Stable Unlearnable Example: Enhancing the Robustness of Unlearnable Examples via Stable Error-Minimizing Noise [31.586389548657205]
  データにある種の知覚不能ノイズを加えることにより、モデルの一般化性能を著しく低下させる非学習不可能な例を提案する。 本稿では,時間を要する対向的摂動ではなく,ランダムな摂動に対する防御音を訓練する安定型誤り最小化ノイズ(SEM)を導入する。 SEMは、CIFAR-10、CIFAR-100、ImageNet Subset上で、最先端の新たなパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-22T01:43:57Z)
• Evaluating Similitude and Robustness of Deep Image Denoising Models via Adversarial Attack [60.40356882897116]
  ディープニューラルネットワーク(DNN)は、従来の画像復調アルゴリズムよりも優れたパフォーマンスを示している。 本稿では,現在のディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディープ・ディナイジング・PGD(Denoising-PGD)と名づけられた敵攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-06-28T09:30:59Z)
• Wavelets Beat Monkeys at Adversarial Robustness [0.8702432681310401]
  物理的にインスピレーションを受けた構造が、これまで人間の大脳皮質を巧みに模倣してしか考えられていなかったロバスト性に対する新たな洞察をいかに生み出すかを示す。 我々の研究は、物理的にインスピレーションを受けた構造が、これまで人間の大脳皮質を巧みに模倣してしか考えられていなかった堅牢性に対する新たな洞察をいかに生み出すかを示している。
  論文  参考訳（メタデータ） (2023-04-19T03:41:30Z)
• DIMBA: Discretely Masked Black-Box Attack in Single Object Tracking [5.672132510411465]
  敵攻撃は、CNNベースのモデルに、人間の知覚できない入力を巧みに操作することで、誤った出力を強制することができる。 ブラックボックス設定下での単一物体追跡のためのノイズを発生させる新しい逆攻撃法を提案する。 我々の手法は、競争力や攻撃性能を改善するために、ビデオのフレーム上でのクエリを少なくする。
  論文  参考訳（メタデータ） (2022-07-17T00:17:40Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。