論文の概要: CaptionFool: Universal Image Captioning Model Attacks

• arxiv url: http://arxiv.org/abs/2603.00529v1
• Date: Sat, 28 Feb 2026 07:57:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.245094
• Title: CaptionFool: Universal Image Captioning Model Attacks
• Title（参考訳）: CaptionFool: ユニバーサルイメージキャプションモデルアタック
• Authors: Swapnil Parekh,
• Abstract要約: 本稿では,最新のトランスフォーマーベースキャプションモデルに対する新たな攻撃であるCaptionFoolを提案する。 本攻撃は攻撃内容を含む任意のキャプションの生成において94-96%の成功率を達成した。
• 参考スコア（独自算出の注目度）: 1.3011345529764784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image captioning models are encoder-decoder architectures trained on large-scale image-text datasets, making them susceptible to adversarial attacks. We present CaptionFool, a novel universal (input-agnostic) adversarial attack against state-of-the-art transformer-based captioning models. By modifying only 7 out of 577 image patches (approximately 1.2% of the image), our attack achieves 94-96% success rate in generating arbitrary target captions, including offensive content. We further demonstrate that CaptionFool can generate "slang" terms specifically designed to evade existing content moderation filters. Our findings expose critical vulnerabilities in deployed vision-language models and underscore the urgent need for robust defenses against such attacks. Warning: This paper contains model outputs which are offensive in nature.
• Abstract（参考訳）: 画像キャプションモデルは、大規模な画像テキストデータセットに基づいてトレーニングされたエンコーダ-デコーダアーキテクチャであり、敵攻撃の影響を受けやすい。 本稿では,最新のトランスフォーマーベースキャプションモデルに対する,新たなユニバーサル(インプットに依存しない)敵攻撃であるCaptionFoolを提案する。 画像の約1.2%にあたる577のイメージパッチのうち7つだけを修正することにより、攻撃内容を含む任意のターゲットキャプションを生成するのに94-96%の成功率を達成した。 さらに我々は、CaptionFoolが既存のコンテンツモデレーションフィルタを避けるために特別に設計された"slang"用語を生成できることを実証した。 本研究は,視覚言語モデルにおける重大な脆弱性を明らかにし,このような攻撃に対する堅牢な防御の必要性を浮き彫りにしている。 警告:本論文は、自然界で攻撃的なモデル出力を含む。

関連論文リスト

• Adapter Shield: A Unified Framework with Built-in Authentication for Preventing Unauthorized Zero-Shot Image-to-Image Generation [74.5813283875938]
  ゼロショット画像・画像生成は知的財産権侵害に重大なリスクをもたらす。 この研究は、個人イメージを誤用から守ることを目的とした、最初の普遍的および認証統合ソリューションであるAdapter Shieldを提示する。 提案手法は, ゼロショット画像合成の不正化において, 最先端の防御を克服する。
  論文  参考訳（メタデータ） (2025-11-25T04:49:16Z)
• SRD: Reinforcement-Learned Semantic Perturbation for Backdoor Defense in VLMs [57.880467106470775]
  攻撃者は、トレーニングデータに知覚不能な摂動を注入することができ、モデルが悪意のある攻撃的制御されたキャプションを生成する。 本稿では,引き金の事前知識を伴わずにバックドア動作を緩和する強化学習フレームワークであるセマンティック・リワード・ディフェンス(SRD)を提案する。 SRDはDeep Q-Networkを使用して、機密画像領域に個別の摂動を適用するためのポリシーを学習し、悪意ある経路の活性化を妨害することを目的としている。
  論文  参考訳（メタデータ） (2025-06-05T08:22:24Z)
• Web Artifact Attacks Disrupt Vision Language Models [61.59021920232986]
  視覚言語モデル(VLM)は、大規模で軽量にキュレートされたWebデータセットに基づいて訓練されている。 意味概念と無関係な視覚信号の間に意図しない相関関係を学習する。 これまでの研究は、これらの相関関係をモデル予測を操作するための攻撃ベクトルとして武器化してきた。 非マッチングテキストとグラフィカル要素の両方を使ってモデルを誤解させる新しい操作のクラスである「アーティファクトベース」アタックを導入する。
  論文  参考訳（メタデータ） (2025-03-17T18:59:29Z)
• Typographic Attacks in a Multi-Image Setting [2.9154316123656927]
  タイポグラフィー攻撃の研究のためのマルチイメージ設定を提案する。 具体的には、アタッククエリを繰り返すことなく、イメージセットをアタックすることに重点を置いています。 対象画像の難易度,攻撃テキストの強度,テキスト画像の類似性を活用し,マルチイメージ設定のための2つの攻撃戦略を導入する。
  論文  参考訳（メタデータ） (2025-02-12T08:10:25Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• Stealthy Targeted Backdoor Attacks against Image Captioning [16.409633596670368]
  本稿では,画像キャプションモデルに対するバックドア攻撃を標的とした新たな手法を提案する。 本手法は,物体検出に普遍摂動技術を活用することで,まず特別なトリガを学習する。 我々のアプローチは、モデルクリーンパフォーマンスに無視できる影響を与えながら、高い攻撃成功率を達成することができる。
  論文  参考訳（メタデータ） (2024-06-09T18:11:06Z)
• BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models [54.19289900203071]
  テキストから画像への生成人工知能の普及は、大衆の関心を集めている。 ユーザを微妙に操作するコンテンツを生成するために,この技術を攻撃できることを実証する。 テキストから画像生成モデル(BAGM)に対するバックドアアタックを提案する。 我々の攻撃は、生成過程の3段階にわたる3つの一般的なテキスト・画像生成モデルをターゲットにした最初の攻撃である。
  論文  参考訳（メタデータ） (2023-07-31T08:34:24Z)
• I See Dead People: Gray-Box Adversarial Attack on Image-To-Text Models [0.0]
  我々は、画像からテキストへのグレーボックスの逆攻撃を、未ターゲティングとターゲットの両方に提示する。 攻撃はグレーボックス方式で実行され、デコーダモジュールに関する知識は不要です。 また、私たちの攻撃は人気のあるオープンソースプラットフォームHugging Faceを騙していることも示しています。
  論文  参考訳（メタデータ） (2023-06-13T07:35:28Z)
• Content-based Unrestricted Adversarial Attack [53.181920529225906]
  本稿では,コンテンツベース非制限攻撃という新たな非制限攻撃フレームワークを提案する。 自然像を表す低次元多様体を利用することで、像を多様体上に写像し、その逆方向に沿って最適化する。
  論文  参考訳（メタデータ） (2023-05-18T02:57:43Z)
• Robust Contrastive Language-Image Pre-training against Data Poisoning and Backdoor Attacks [52.26631767748843]
  ROCLIPは、ターゲットデータ中毒やバックドア攻撃に対して、マルチモーダル視覚言語モデルを堅牢に学習するための最初の効果的な方法である。 ROCLIPは、比較的大きく多様なランダムキャプションのプールを考慮することにより、有毒な撮像対の関連を効果的に破壊する。 実験の結果,ROCLIPは訓練前のCLIPモデルにおいて,最先端のデータ中毒やバックドア攻撃を未然に防ぐことができることがわかった。
  論文  参考訳（メタデータ） (2023-03-13T04:49:46Z)
• Rickrolling the Artist: Injecting Backdoors into Text Encoders for Text-to-Image Synthesis [16.421253324649555]
  テキスト誘導生成モデルに対するバックドアアタックを導入する。 我々の攻撃はエンコーダをわずかに変更するだけで、クリーンなプロンプトで画像生成に不審なモデル動作が明らかになることはない。
  論文  参考訳（メタデータ） (2022-11-04T12:36:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。