Fugu-MT 論文翻訳(概要): It Takes Little to Rewrite Perception: Targeted Semantic Substitution in Vision-Language Models at $ε\leq 4/255$

論文の概要: It Takes Little to Rewrite Perception: Targeted Semantic Substitution in Vision-Language Models at $ε\leq 4/255$

arxiv url: http://arxiv.org/abs/2609.38298v2
Date: Fri, 02 Oct 2026 03:10:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-06 00:14:29.95477
Title: It Takes Little to Rewrite Perception: Targeted Semantic Substitution in Vision-Language Models at $ε\leq 4/255$
Title（参考訳）: 知覚の書き直しにはほとんど時間がかからない:視覚言語モデルのセマンティック置換を目標とする$ε\leq 4/255$
Abstract要約: 既存の表現アライメント攻撃は、VLMがターゲットイメージを認識させるが、$varepsilon leq 4/255$で限定的に成功する。目的のセマンティック置換が同じ範囲で成功するため、このロバスト性は保たないことを示す。我々はまた,大言語モデルが矛盾する視覚信号をコヒーレントな物語に合理化する意味融合現象も観察する。
参考スコア（独自算出の注目度）: 11.409958156154707
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Vision Language Models (VLMs) are widely deployed in safety-critical scenarios, and understanding to which extent they can be controlled by adversarial perturbation is a prerequisite for evaluating their trustworthiness. Existing representation-alignment attacks, which make a VLM perceive a target image, achieve limited success at $\varepsilon \leq 4/255$. Therefore, VLMs seems robust to perturbations in this range. We show that this robustness does not hold, as targeted semantic substitution succeeds within the same range. Specifically, we align each stream of the source image with its counterpart in the target image in the victim VLM's post-merger token space, operating under a white-box threat model. We evaluate under a strict success criterion, requiring the model to simultaneously name the target, confirm its presence, and deny the source. In images, target semantics appear at $\varepsilon = 2/255$ and complete replacement reaches 38% at $\varepsilon = 4/255$. On video, complete replacement reaches 35.9% at $\varepsilon = 1/255$. We also observe a phenomenon of semantic fusion, where Large Language Model (LLM) rationalizes contradictory visual signals into a coherent narrative.
Abstract（参考訳）: 視覚言語モデル(VLM)は、安全クリティカルなシナリオに広く展開されており、敵の摂動によってどの程度制御できるかを理解することが、彼らの信頼性を評価するための前提条件である。 VLMがターゲットイメージを知覚する既存の表現調整攻撃は、$\varepsilon \leq 4/255$で制限された成功を達成する。したがって、VLMは、この範囲での摂動に対して堅牢であるように思われる。目的のセマンティック置換が同じ範囲で成功するため、このロバスト性は保たないことを示す。具体的には、White-boxの脅威モデルの下で動作している被害者VLMのポストマージトークン空間において、ソース画像の各ストリームとターゲット画像のストリームを一致させる。我々は、厳密な成功基準の下で評価し、モデルが目標を同時に命名し、その存在を確認し、情報源を否定することを要求する。画像では、ターゲットセマンティクスは$\varepsilon = 2/255$に現れ、完全な置換は$\varepsilon = 4/255$で38%に達する。ビデオでは、完全置換は$\varepsilon = 1/255$で35.9%に達する。また,Large Language Model (LLM) が矛盾する視覚信号をコヒーレントな物語に合理化する意味融合現象も観察する。

関連論文リスト

FreqDoor: A Hidden Trojan in the Frequency Domain for Backdoor Attacks on Vision-Language Models [0.18352113484137622]
我々は、周波数領域にトリガを埋め込む訓練時間バックドアアタックであるtextsc FreqDoorを提案する。 Flickr8kでは、textsc FreqDoorが攻撃成功率99.6%$、99.8%$、9.4%$をそれぞれ達成している。
論文参考訳（メタデータ） (2026-09-07T05:11:12Z)
Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models [54.097381112138]
現在の自己進化型LMMは、イメージキャプションや視覚的質問応答といった視覚言語理解タスクに苦慮している。モデルの視覚条件を直接正規化する,純粋に教師なしの自己進化型フレームワークであるVISEを提案する。 VISEは、専門的な役割、外部報酬モデル、アノテーションなしで単一のモデル内で動作します。
論文参考訳（メタデータ） (2026-06-25T17:59:55Z)
One Perturbation, Two Failure Modes: Probing VLM Safety via Embedding-Guided Typographic Perturbations [0.8116687935773981]
タイポグラフィープロンプトインジェクションは、画像に描画されたテキストを読み取る視覚言語モデル(VLM)の能力を利用する。条件付き$ell_infty$摂動下で画像テキストの埋め込み類似性を最大化する方法を示す。 GPT-4o、Claude Sonnet 4.5、Mistral-Large-3、Qwen3-VLの実験では、最適化が可読性を回復し、安全性に配慮した拒絶を減らすことが確認された。
論文参考訳（メタデータ） (2026-04-28T01:21:47Z)
TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models [57.32952956674526]
大規模視覚言語モデル(LVLM)に対するより回避的でステルス的なバックドア攻撃であるTokenSwapを紹介する。固定されたターゲットコンテンツを強制するのではなく、TokenSwapはテキスト内のオブジェクト関係の理解を微妙に妨害する。 TokenSwapは、優れた回避性とステルス性を維持しながら、高い攻撃成功率を達成する。
論文参考訳（メタデータ） (2025-09-29T10:19:22Z)
Backdoor Attack on Vision Language Models with Stealthy Semantic Manipulation [32.24294112337828]
BadSemは、トレーニング中に画像とテキストのペアを意図的に間違えることでバックドアを注入するデータ中毒攻撃だ。実験の結果,BadSemは平均的ASRの98%以上を達成し,アウト・オブ・ディストリビューション・データセットに最適化し,有害なモダリティをまたいで転送可能であることがわかった。我々の発見は、より安全なデプロイメントのためにビジョン言語モデルにおけるセマンティックな脆弱性に対処する緊急の必要性を浮き彫りにしている。
論文参考訳（メタデータ） (2025-06-08T16:40:40Z)
SRD: Reinforcement-Learned Semantic Perturbation for Backdoor Defense in VLMs [57.880467106470775]
攻撃者は、トレーニングデータに知覚不能な摂動を注入することができ、モデルが悪意のある攻撃的制御されたキャプションを生成する。本稿では,引き金の事前知識を伴わずにバックドア動作を緩和する強化学習フレームワークであるセマンティック・リワード・ディフェンス(SRD)を提案する。 SRDはDeep Q-Networkを使用して、機密画像領域に個別の摂動を適用するためのポリシーを学習し、悪意ある経路の活性化を妨害することを目的としている。
論文参考訳（メタデータ） (2025-06-05T08:22:24Z)
Replace-then-Perturb: Targeted Adversarial Attacks With Visual Reasoning for Vision-Language Models [6.649753747542211]
本稿では,新たな敵攻撃手法であるReplace-then-PerturbとContrastive-Advを提案する。 Replace-then-Perturbでは、まずテキスト誘導セグメンテーションモデルを用いて画像中の対象物を見つける。これにより、元の画像の全体的な完全性を維持しつつ、所望のプロンプトに対応するターゲット画像を生成することができる。
論文参考訳（メタデータ） (2024-11-01T04:50:08Z)
Any Target Can be Offense: Adversarial Example Generation via Generalized Latent Infection [83.72430401516674]
GAKerは任意のターゲットクラスに対して逆例を構築することができる。本手法は,未知のクラスに対する攻撃成功率を約14.13%で達成する。
論文参考訳（メタデータ） (2024-07-17T03:24:09Z)
InstructTA: Instruction-Tuned Targeted Attack for Large Vision-Language Models [13.21813503235793]
大規模視覚言語モデル(LVLM)は、画像理解と応答生成において、その驚くべき能力を示した。本稿では,被害者LVLMの視覚エンコーダのみを敵が知ることのできる,新規で実用的な攻撃シナリオを定式化する。本研究では,LVLMに対して高い転送性を有する目標対向攻撃を実現するために,命令調整型ターゲットアタック(dubed textscInstructTA)を提案する。
論文参考訳（メタデータ） (2023-12-04T13:40:05Z)
Siamese Image Modeling for Self-Supervised Vision Representation Learning [73.78790119050056]
自己教師付き学習(SSL)は、さまざまな下流視覚タスクにおいて優れたパフォーマンスを提供している。 2つのメインストリームSSLフレームワーク、すなわちインスタンス識別(ID)とマスク画像モデリング(MIM)が提案されている。本稿では,拡張ビューの濃密な表現を予測できるSiamese Image Modeling (SIM)を提案する。
論文参考訳（メタデータ） (2022-06-02T17:59:58Z)
On Generating Transferable Targeted Perturbations [102.3506210331038]
伝達性の高い標的摂動に対する新しい生成的アプローチを提案する。私たちのアプローチは、ターゲットクラスの「乱れた画像分布」にマッチし、高いターゲット転送率につながります。
論文参考訳（メタデータ） (2021-03-26T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。