論文の概要: Fighting Fire with Fire (F3): A Training-free and Efficient Visual Adversarial Example Purification Method in LVLMs

• arxiv url: http://arxiv.org/abs/2506.01064v1
• Date: Sun, 01 Jun 2025 16:07:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.250105
• Title: Fighting Fire with Fire (F3): A Training-free and Efficient Visual Adversarial Example Purification Method in LVLMs
• Title（参考訳）: 火災と戦う(第3報):LVLMの訓練不要かつ高効率な視覚障害者用実例浄化法
• Authors: Yudong Zhang, Ruobing Xie, Yiqing Huang, Jiansheng Chen, Xingwu Sun, Zhanhui Kang, Di Wang, Yu Wang,
• Abstract要約: 視覚言語モデル(LVLM)は、視覚的敵攻撃に対して脆弱である。 F3は反直感的な「火と戦う火」戦略を駆使した、新たな敵の浄化フレームワークである。 F3はトレーニングフリーで実装が簡単で、計算効率が大幅に向上している。
• 参考スコア（独自算出の注目度）: 31.315218279775753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large vision-language models (LVLMs) have showcased their remarkable capabilities across a wide range of multimodal vision-language tasks. However, these models remain vulnerable to visual adversarial attacks, which can substantially compromise their performance. Despite their potential impact, the development of effective methods for purifying such adversarial examples has received relatively limited attention. In this paper, we introduce F3, a novel adversarial purification framework that employs a counterintuitive "fighting fire with fire" strategy: intentionally introducing simple perturbations to adversarial examples to mitigate their harmful effects. Specifically, F3 leverages cross-modal attentions derived from randomly perturbed adversary examples as reference targets. By injecting noise into these adversarial examples, F3 effectively refines their attention, resulting in cleaner and more reliable model outputs. Remarkably, this seemingly paradoxical approach of employing noise to counteract adversarial attacks yields impressive purification results. Furthermore, F3 offers several distinct advantages: it is training-free and straightforward to implement, and exhibits significant computational efficiency improvements compared to existing purification methods. These attributes render F3 particularly suitable for large-scale industrial applications where both robust performance and operational efficiency are critical priorities. The code will be made publicly available.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)の最近の進歩は、広範囲にわたる多モーダル視覚言語タスクにおいて、その顕著な能力を示した。 しかし、これらのモデルは、その性能を著しく損なう可能性のある視覚的敵攻撃に弱いままである。 その潜在的な影響にもかかわらず、このような敵の例を効果的に浄化する方法の開発は比較的注目されている。 本稿では, 逆直感的な「火と戦う」戦略を取り入れた, 新たな敵の浄化フレームワークであるF3を紹介し, 敵の有害な影響を軽減するための単純な摂動を意図的に導入する。 具体的には、F3は、ランダムに摂動した敵の例から導かれる、モーダルな注意を基準ターゲットとして活用する。 これらの対向的な例にノイズを注入することにより、F3は効果的に注意を洗練し、よりクリーンで信頼性の高いモデル出力をもたらす。 明らかに、敵対的攻撃に対抗するためにノイズを使うというこのパラドックス的なアプローチは、目覚ましい浄化結果をもたらす。 さらに、F3はトレーニングフリーで実装が簡単で、既存の浄化法に比べて計算効率が大幅に向上している。 これらの属性は、堅牢な性能と運用効率の両方が重要な優先事項である大規模産業アプリケーションに特に適している。 コードは公開されます。

関連論文リスト

• Towards Effective and Efficient Adversarial Defense with Diffusion Models for Robust Visual Tracking [15.806472680573297]
  本稿では,DiffDfと呼ばれる拡散確率モデルに基づく新しい敵防衛法を提案する。 実験により、DiffDfは30FPS以上のリアルタイム推論速度を実現し、優れた防御性能と効率を示すことが示された。
  論文  参考訳（メタデータ） (2025-05-31T00:37:28Z)
• Beyond Classification: Evaluating Diffusion Denoised Smoothing for Security-Utility Trade off [4.497768222083102]
  Diffusion Denoized Smoothingは、モデルロバスト性を高めるための有望なテクニックとして登場している。 4つの異なる下流タスクを持つ3つのデータセットを3つの異なる逆攻撃アルゴリズムで解析する。 歪みのないクリーニング画像への高ノイズ拡散は、性能を最大57%低下させる。 我々は,拡散過程自体をターゲットとした新たな攻撃戦略を導入し,低雑音体制における防御を回避した。
  論文  参考訳（メタデータ） (2025-05-21T14:49:24Z)
• Eidos: Efficient, Imperceptible Adversarial 3D Point Clouds [16.604139389480615]
  Eidosは、3D pOintクラウドSに対して効果的な非受容性アディバーサリアルアタックを提供するフレームワークである。 本稿では,3次元pOintクラウドSに対して,効率的な非知覚的アディバーサリアルアタックを提供するフレームワークであるEidosを提示することで,敵攻撃の理解を深める。
  論文  参考訳（メタデータ） (2024-05-23T06:09:08Z)
• Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
  未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。 我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
  論文  参考訳（メタデータ） (2024-05-02T16:49:25Z)
• DALA: A Distribution-Aware LoRA-Based Adversarial Attack against Language Models [64.79319733514266]
  敵攻撃は入力データに微妙な摂動をもたらす可能性がある。 最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。 そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T23:43:47Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)
• PointACL:Adversarial Contrastive Learning for Robust Point Clouds Representation under Adversarial Attack [73.3371797787823]
  逆比較学習(Adversarial contrastive learning, ACL)は、事前学習されたモデルの堅牢性を改善する効果的な方法と考えられている。 本稿では,自己指導型コントラスト学習フレームワークを逆向きに学習するために,ロバストな認識損失関数を提案する。 提案手法であるPointACLを,複数のデータセットを用いた3次元分類と3次元分割を含む下流タスクで検証する。
  論文  参考訳（メタデータ） (2022-09-14T22:58:31Z)
• Diffusion Models for Adversarial Purification [69.1882221038846]
  対人浄化(Adrial purification)とは、生成モデルを用いて敵の摂動を除去する防衛方法の分類である。 そこで我々は,拡散モデルを用いたDiffPureを提案する。 提案手法は,現在の対人訓練および対人浄化方法よりも優れ,最先端の成果を達成する。
  論文  参考訳（メタデータ） (2022-05-16T06:03:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。