論文の概要: Scale-Induced Semantic Shift in Visual Prompt Injection Against VLMs and Web Agents
- arxiv url: http://arxiv.org/abs/2611.16744v1
- Date: Thu, 12 Nov 2026 12:57:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.47206
- Title: Scale-Induced Semantic Shift in Visual Prompt Injection Against VLMs and Web Agents
- Title(参考訳): VLMおよびWebエージェントに対する視覚プロンプト注入におけるスケール誘起セマンティックシフト
- Abstract要約: 本研究では,画像の機械可読なセマンティクスを変化させるセキュリティ障害モードについて検討する。
評価プロトコルでは,512Times512$のプレゼンテーション解決でテキスト命令が復元されない。
我々は,デュアルスケール検証,選択的自己硬化,浅層低ランク適応,ピクセル空間雑音正規化を組み合わせた閉ループブラックボックスフレームワークを開発した。
- 参考スコア(独自算出の注目度): 21.473189048209274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual content in multimedia systems may be resized, compressed, or re-rendered before it is interpreted by a vision-language model. We study a security failure mode in which these transformations change the machine-readable semantics of an image: a textual instruction is not recovered at a $512\times512$ presentation resolution under our evaluation protocol but becomes recoverable after aggressive downsampling. We formulate this behavior as Scale-Induced Semantic Shift (SISS) and develop a closed-loop black-box framework that combines dual-scale verification, selective self-hardening, shallow-layer low-rank adaptation, and pixel-space noise regularization. On a fixed 300-case benchmark, the third SISS refinement round obtains a $58.75\%$ average attack success rate across four closed-source vision-language models, compared with $41.08\%$ for the strongest generation baseline. A controlled sweep bounds the effect to aggressive compression: average success decreases to $17.68\%$, $6.85\%$, and $5.60\%$ at $128\times128$, $224\times224$, and $336\times336$, respectively. In a downstream web-agent study, the generated images increase hidden-instruction perception, but absolute behavioral compromise remains about $4\%$. Generic input transformations provide little protection in a separate defense protocol, whereas the proposed ScaleGuard consistency detector reduces non-adaptive success from $61.4\%$ to $24.3\%$ and one-round defense-aware success from $42.5\%$ to $15.0\%$, with no observed rejection among matched clean controls. The results characterize a bounded but reproducible semantic inconsistency in multimedia preprocessing and motivate scale-consistent visual-language inference.
- Abstract(参考訳): マルチメディアシステムのビジュアルコンテンツは、視覚言語モデルで解釈される前に、再サイズ、圧縮、あるいは再レンダリングされることがある。
我々は,これらの変換が画像の機械可読な意味を変化させるセキュリティ障害モードについて検討する:テキスト命令は評価プロトコルの下で512\times512$の表示解像度で復元されないが,アグレッシブ・ダウンサンプリング後に回復可能である。
本研究では、この挙動をスケール誘起セマンティックシフト(SISS)として定式化し、デュアルスケール検証、選択的自己硬化、浅層低ランク適応、ピクセル空間雑音正規化を組み合わせた閉ループブラックボックスフレームワークを開発する。
固定300ケースのベンチマークでは、第3回のSISSリファインメントラウンドで、4つのクローズドソースビジョン言語モデルの平均攻撃成功率は58.75 %、最強世代のベースラインは41.08 %である。
平均的な成功は17.68\%$、6.85\%$、および5.60\%$、28.28\times128$、24.24\times224$、36.36\times336$に減少する。
下流のウェブエージェントによる研究では、生成された画像は隠された命令の知覚を増加させるが、絶対的な行動上の妥協は、約4.5%の価格のままである。
汎用的な入力変換は、別々の防御プロトコルではほとんど保護されないが、提案されたスケールガード整合性検出器は、非適応的な成功を61.4\%から24.3\%に減らし、一方の防御的成功を42.5\%から15.0\%に減らした。
その結果、マルチメディア前処理における有界だが再現可能な意味的矛盾を特徴づけ、スケール一貫性のある視覚言語推論を動機付けている。
関連論文リスト
- Rethinking Generative Image Compression at Extremely Low Bitrates [56.035931340138006]
本稿では、圧縮された表現とソース表現を直接アライメントする表現オートエンコーダ(RAE)空間上に構築された圧縮指向拡散(CoD)であるRAE-CoDを紹介する。
5つの視覚基盤モデル(VFM)と視覚言語モデルプロトコルを用いて,この枠組みを評価する。
論文 参考訳(メタデータ) (2026-09-30T08:53:11Z) - Decodable but Misrouted: Sparse Features Uncover a Readout Gap in Vision-Language Models for Harmful Meme Detection [11.020614074201346]
Gemma-3 と Qwen3.5 では,スパースオートエンコーダ,ロールコンディショニングプローブ,因果介入,リカバリ実験を用いて区別を行った。
スパース読み込みは6つのプライマリバイナリタスクすべてでネイティブ予測を上回っている。
ルーティングは、表現のみではなく、有害なミーム分類において、繰り返し発生するボトルネックである。
論文 参考訳(メタデータ) (2026-09-16T16:00:36Z) - Persistent Recurrent Memory Between Transformer Layers - Improves Language Model Generalization [0.0]
本稿では,クロスアテンションによって隠された表現を観測し,自身をGRU経由で更新し,ゲート付加によりその後の処理を変調する永続的リカレント状態を導入する。
このモジュールには3.7%の追加パラメータが加わり、評価損失は2.438 pm 0.004$から1.743 pm 0.018$に削減された。
論文 参考訳(メタデータ) (2026-09-15T14:31:43Z) - STAIN-FL: Stealthy Targeted Attack Injection with Contextual Triggers in Federated Learning [4.717908620608989]
本稿では,ステルスなバックドア攻撃注入フレームワークであるSTAIN-FLを紹介する。
低照度シーン、屋内設定、群衆密度など、自然に発生する監視条件をコンテキストトリガーとして使用する。
STAIN-FLをtextttUCF-Crimeで評価し,非IID4サイクル多重緊急設定における1024次元I3D特徴を用いた。
論文 参考訳(メタデータ) (2026-08-25T01:24:16Z) - Bend the Basics: Degradation-Aware Deformable Tokenization for All-in-One Image Restoration [72.64498743287601]
オールインワン画像復元は、多様で空間的に一様でない腐敗によって劣化した画像を復元できる単一のモデルを求める。
パイプライン全体にわたる劣化認識をモデル化するフレキシブル・イメージ・トランスフォーマー(FIT)を提案する。
FITは、30.72dBの平均PSNRを5次劣化設定で32.83dBを3次劣化設定で達成し、最近の統一修復法を+0.5$sim$1.1dBで上回った。
論文 参考訳(メタデータ) (2026-08-07T05:44:31Z) - Pattern-Derived Visual Swarm Games: Multi-Scale Drone-Vision States for Interception and Sustainability Audits [0.2864713389096699]
ドローンビジョンのアノテーションストリームを,物理的なドローンを制御することなく,仮想球技状態に変換する。
決定論的プローブは、有界能力ベクトル、画像空間形成、有限ゼロサムペイオフ、人間の可読性オーバーレイを生成する。
監査は6時間6warm$から32時間32ドル32ドルまでスケールし、ストック、疲労、適応、露出、ストレス、予算、データ成長、モデル改善、エントロピー予算状態変数を繰り返すマルコフ層を追加する。
論文 参考訳(メタデータ) (2026-07-08T02:30:15Z) - HAVE: Host Active Verification Engine for Closing the Contextual Reality Gap in Security Digital Twins [0.0]
Security Digital Twins (SDT)は、脅威シミュレーションのためのインフラストラクチャの継続的に更新された仮想レプリカを提供する。
本稿では,安全性に制約のあるホストエージェントをデプロイして,妥協確率を計測するSDTエクステンションを提案する。
4つの脆弱性クラス、3つのセキュリティ層、2つのプロダクションバイナリから評価すると、HAVEは偽陽性のシナリオでは$P_textreach$を38.2%削減し、偽陰性なシナリオでは132.4%向上する。
論文 参考訳(メタデータ) (2026-06-05T06:54:23Z) - VLM-RobustBench: A Comprehensive Benchmark for Robustness of Vision-Language Models [64.56065206447788]
ビジョン言語モデル(VLM)は、標準の高品質なデータセット上で強力なパフォーマンスを達成する。
VLM-RobustBenchはノイズ、ブラー、天気、デジタル、幾何学にまたがる49種類の拡張型にまたがるベンチマークである。
低重度空間摂動は、視覚的に重度な光度劣化よりも、しばしば性能を低下させる。
論文 参考訳(メタデータ) (2026-03-06T10:58:02Z) - Representation Entanglement for Generation: Training Diffusion Transformers Is Much Easier Than You Think [63.25744258438214]
REPAとその変種は、事前訓練されたモデルから外部の視覚表現を取り入れることで、拡散モデルのトレーニング課題を効果的に軽減する。
偏見推論過程全体において欠落している外部アライメントは、識別的表現の可能性を完全に活用するに足らないと我々は主張する。
本稿では,事前学習した基礎モデルから,低レベル画像ラテントを1つの高レベルクラストークンで絡み合わせるRepresentation Entanglement for Generation (REG)を提案する。
論文 参考訳(メタデータ) (2025-07-02T08:29:18Z) - Expressive Losses for Verified Robustness via Convex Combinations [67.54357965665676]
本研究では, 過近似係数と異なる表現的損失に対する性能分布の関係について検討した。
表現性が不可欠である一方で、最悪の場合の損失のより良い近似は、必ずしも優れた堅牢性-正確性トレードオフに結びついていないことを示す。
論文 参考訳(メタデータ) (2023-05-23T12:20:29Z) - Detection as Regression: Certified Object Detection by Median Smoothing [50.89591634725045]
この研究は、ランダム化平滑化による認定分類の最近の進歩によって動機付けられている。
我々は、$ell$-bounded攻撃に対するオブジェクト検出のための、最初のモデル非依存、トレーニング不要、認定された防御条件を得る。
論文 参考訳(メタデータ) (2020-07-07T18:40:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。