論文の概要: Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial Defense

• arxiv url: http://arxiv.org/abs/2302.01056v1
• Date: Thu, 2 Feb 2023 12:37:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-03 14:01:17.441984
• Title: Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial Defense
• Title（参考訳）: 事前訓練された機能を超えて:ノイズ画像モデリングは敵の防御を提供する
• Authors: Zunzhi You, Daochang Liu, Chang Xu
• Abstract要約: Masked Image Modelingは、自己教師付き視覚表現学習のための一般的なフレームワークである。 ノイズの多い画像モデリングは、優れた事前訓練された視覚的特徴を提供するだけでなく、下流モデルに対する効果的な敵防御も提供する。
• 参考スコア（独自算出の注目度）: 21.005314829099323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked Image Modeling (MIM) has been a prevailing framework for self-supervised visual representation learning. Within the pretraining-finetuning paradigm, the MIM framework trains an encoder by reconstructing masked image patches with the help of a decoder which would be abandoned when the encoder is used for finetuning. Despite its state-of-the-art performance on clean images, MIM models are vulnerable to adversarial attacks, limiting its real-world application, and few studies have focused on this issue. In this paper, we have discovered that noisy image modeling (NIM), a variant of MIM that uses denoising as the pre-text task, provides not only good pretrained visual features, but also effective adversarial defense for downstream models. To achieve a better accuracy-robustness trade-off, we further propose to sample the hyperparameter that controls the reconstruction difficulty from random distributions instead of setting it globally, and fine-tune downstream networks with denoised images. Experimental results demonstrate that our pre-trained denoising autoencoders are effective against different white-box, gray-box, and black-box attacks without being trained with adversarial images, while not harming the clean accuracy of fine-tuned models. Source code and models will be made available.
• Abstract（参考訳）: Masked Image Modeling (MIM) は、自己教師型視覚表現学習において一般的なフレームワークである。 トレーニング済みのファインタニングパラダイムの中で、MIMフレームワークは、エンコーダを使用して微調整を行う際に放棄されるデコーダの助けを借りて、マスク付きイメージパッチを再構築することでエンコーダを訓練する。 クリーンな画像に対する最先端のパフォーマンスにもかかわらず、MIMモデルは敵の攻撃に対して脆弱であり、実際のアプリケーションを制限する。 本稿では,プリテキストタスクとしてデノイジングを使用するmimの変種であるノイズ画像モデリング(nim)が,事前学習された視覚機能だけでなく,下流モデルの効果的な防御機能も提供することを発見した。 さらに,より高精度で精度のよいトレードオフを実現するために,グローバルに設定する代わりに,ランダム分布から再構成困難を制御するハイパーパラメータと,復号化画像を用いたダウンストリームネットワークの微細化を提案する。 実験結果から,事前学習したデノナイジングオートエンコーダは,異なるホワイトボックス,グレーボックス,ブラックボックスアタックに対して,敵画像のトレーニングを行わずに有効であり,微調整モデルのクリーンな精度を損なわないことが示された。 ソースコードとモデルは利用可能になる。

関連論文リスト

• Adversarial Machine Learning: Attacking and Safeguarding Image Datasets [0.0]
  本稿では、敵攻撃に対する畳み込みニューラルネットワーク(CNN)の脆弱性について検討し、その保護方法を検討する。 CNNは、最も一般的な画像データセットの4つに実装され、高いベースライン精度を実現した。 対戦訓練後のモデルに対するロバスト性はほとんどのレベルが達成されているが、敵の摂動に対するモデルの性能にはまだ若干の損失があるようだ。
  論文  参考訳（メタデータ） (2025-01-31T22:32:38Z)
• Confidence-aware Denoised Fine-tuning of Off-the-shelf Models for Certified Robustness [56.2479170374811]
  我々はFT-CADIS(Fun Fine-Tuning with Confidence-Aware Denoized Image Selection)を紹介する。 FT-CADISは、既成の分類器の信頼性が、視覚的平滑化中の幻覚像を効果的に識別できるという観察に着想を得たものである。 様々なベンチマークにおいて、すべての$ell$-adversary半径にわたる偏微分平滑化法のうち、最先端の証明されたロバスト性を確立している。
  論文  参考訳（メタデータ） (2024-11-13T09:13:20Z)
• Protecting Feed-Forward Networks from Adversarial Attacks Using Predictive Coding [0.20718016474717196]
  逆の例は、機械学習(ML)モデルが誤りを犯すように設計された、修正された入力イメージである。 本研究では,敵防衛のための補助的なステップとして,予測符号化ネットワーク(PCnet)を用いた実用的で効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T21:38:05Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Stable Unlearnable Example: Enhancing the Robustness of Unlearnable Examples via Stable Error-Minimizing Noise [31.586389548657205]
  データにある種の知覚不能ノイズを加えることにより、モデルの一般化性能を著しく低下させる非学習不可能な例を提案する。 本稿では,時間を要する対向的摂動ではなく,ランダムな摂動に対する防御音を訓練する安定型誤り最小化ノイズ(SEM)を導入する。 SEMは、CIFAR-10、CIFAR-100、ImageNet Subset上で、最先端の新たなパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-22T01:43:57Z)
• Wavelets Beat Monkeys at Adversarial Robustness [0.8702432681310401]
  物理的にインスピレーションを受けた構造が、これまで人間の大脳皮質を巧みに模倣してしか考えられていなかったロバスト性に対する新たな洞察をいかに生み出すかを示す。 我々の研究は、物理的にインスピレーションを受けた構造が、これまで人間の大脳皮質を巧みに模倣してしか考えられていなかった堅牢性に対する新たな洞察をいかに生み出すかを示している。
  論文  参考訳（メタデータ） (2023-04-19T03:41:30Z)
• Stylized Adversarial Defense [105.88250594033053]
  逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。 我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。 我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
  論文  参考訳（メタデータ） (2020-07-29T08:38:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。