論文の概要: Multimodal Resource-Exhaustion Attacks on Vision-Language Models via Joint Pixel-Prompt Optimization
- arxiv url: http://arxiv.org/abs/2609.05889v1
- Date: Sat, 05 Sep 2026 05:20:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.162811
- Title: Multimodal Resource-Exhaustion Attacks on Vision-Language Models via Joint Pixel-Prompt Optimization
- Title（参考訳）: 共同画素プロンプト最適化によるビジョンランゲージモデルに対するマルチモーダル・リソース・エクササイズ・アタック
- Abstract要約: 画像の摂動に伴う第1級の逆数への可視的プロンプトを上昇させる,最初の複合逆数フレームワークであるJoint Pixel-Prompt Optimization (JPPO)を導入する。
JPPOは、制約付き共同入力脅威モデルの下で、画素とプロンプト面の両方に対して、段階的に結合された最適化を行う。
これにより、ループ依存的な障害と機械的に区別される相乗的コスト増幅が生じる。
- 参考スコア（独自算出の注目度）: 38.37373243718745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Resource-exhaustion attacks against autoregressive vision-language models (VLMs) typically assume unimodal threat models, treating the image branch as the primary optimization surface while holding user-visible prompts fixed. Even recent loop-centric variants remain confined to this single-channel paradigm, leaving the exploitation of availability unexplored as a cross-modal optimization problem over jointly controllable input surfaces. We introduce Joint Pixel-Prompt Optimization (JPPO), the first compound adversarial framework elevating the visible prompt to a first-class adversarial variable alongside image perturbations. Under a restricted joint-input threat model, JPPO performs coupled, stagewise optimization over both the pixel and prompt surfaces. This produces synergistic cost amplification, mechanistically distinct from loop-dependent failures, exhibiting negligible loop incidence in our experiments. Evaluating five open-source VLM families on MS COCO and ImageNet under an 8/255 infinity-norm budget, JPPO achieves over 4.6x latency and 5.3x energy amplification on Qwen2.5-VL-7B, and over 36.6x latency with 32.7x energy amplification on BLIP-2. This represents the strongest cost amplification among directly compared baselines while requiring substantially fewer optimization iterations. Ablations confirm this amplification arises from multimodal coordination rather than prompt length or isolated modalities. These findings reveal structural blind spots in current VLM serving defenses, motivating cost-aware robustness evaluation as a first-class security requirement for multimodal deployments.
- Abstract（参考訳）: 自己回帰的視覚言語モデル(VLM)に対するリソース攻撃攻撃は、通常、イメージブランチを第一の最適化面として扱い、ユーザ可視的なプロンプトを固定する。
最近のループ中心の変種でさえ、この単一チャネルのパラダイムに限られており、共同制御可能な入力面に対するクロスモーダル最適化問題として探索されていない可用性の活用が残っている。
画像の摂動に伴う第1級の逆数への可視的プロンプトを上昇させる,最初の複合逆数フレームワークであるJoint Pixel-Prompt Optimization (JPPO)を導入する。
JPPOは、制約付き共同入力脅威モデルの下で、画素とプロンプト面の両方に対して、段階的に結合された最適化を行う。
これにより、ループ依存障害と機械的に区別される相乗的コスト増幅が得られ、我々の実験では無視できるループインシデントが示される。
MS COCOとImageNetの5つのオープンソースVLMファミリーを8/255インフィニティノームの予算で評価し、JPPOはQwen2.5-VL-7Bで4.6倍のレイテンシと5.3倍のエネルギー増幅、BLIP-2で32.7倍のエネルギー増幅を実現している。
これは、最適化の繰り返しを著しく少なくしながら、直接比較されたベースラインの中で最もコストを増幅することを意味する。
アブレーションは、この増幅は、急激な長さや孤立したモダリティではなく、マルチモーダルコーディネートから生じることを証明している。
これらの結果から, マルチモーダル展開の第一級セキュリティ要件として, コストを考慮したロバスト性評価を動機とした, 現在のVLMの防御機能における構造的盲点が明らかとなった。
関連論文リスト
- Structured Redundancy Modeling for Efficient Visual Token Pruning in High-Resolution MLLMs [9.080169376642433]
本稿では,スコアリング空間に直接冗長性制御を組み込む視覚トークンプルーニングの構造的再構成を提案する。
提案手法は,Qwen2.5-VLの512トークンにおいて,112.4msから2.5msまでのトークン選択プロセスを110msまで削減し,安定な選択コストを維持していることを示す。
論文 参考訳（メタデータ） (2026-07-25T05:08:22Z) - Kwai Keye-VL-2.0 Technical Report [53.82434681649277]
Keye-VL-2.0は、長期ビデオ理解とエージェントインテリジェンスを促進するために設計されたマルチモーダル基盤モデルである。
DeepSeek Sparse Attention (DSA)をGQAベースのマルチモーダルアーキテクチャに適応したのは,これが初めてである。
コンテクスト-RLとビデオ-RLを併用したMOPD(Cross-Modal Multi-Teacher On-Policy Distillation)は破滅的忘れのアルゴリズム的ジレンマを克服する。
論文 参考訳（メタデータ） (2026-06-09T09:58:08Z) - Second-Order Multi-Level Variance Correction for Modality Competition in Multimodal Models [0.0]
特にSOAPは、マルチモーダルアライメントのためのより安定した基盤を提供します。
マルチレベル変数補正を用いた2次最適化フレームワークであるemphML-FOP-SOAPを提案する。
AdamWと比較すると、サンプル効率を最大14タイムで改善し、壁時計のトレーニングを最大1.5タイムで高速化する。
論文 参考訳（メタデータ） (2026-05-15T16:45:56Z) - A Cross-Modal Prompt Injection Attack against Large Vision-Language Models with Image-Only Perturbation [14.191447589526796]
大規模視覚言語モデル(LVLM)はマルチモーダルインテリジェンスのための強力なパラダイムとして登場した。
新たなクロスモーダルインジェクション攻撃CrossMPIを導入する。
私たちのデザインは、以下の重要なブレークスルーによって支えられています。
論文 参考訳（メタデータ） (2026-05-15T15:47:41Z) - Large Language Models as Amortized Pareto-Front Generators for Constrained Bi-Objective Convex Optimization [21.83927813316836]
DIPSは、制約付き双方向凸最適化のための償却ジェネレータとして、大きな言語モデルを微調整するエンドツーエンドフレームワークである。
自己回帰型言語モデリングと連続最適化を両立させるため、DIPSはコンパクトな離散化スキーム、新しい数値トークンのための数値接地トークン初期化、三相カリキュラム最適化を組み合わせた。
vLLM加速推論では、DIPSは1つのインスタンスを0.16秒で解き、汎用性や推論のLCMベースラインを上回っている。
論文 参考訳（メタデータ） (2026-05-12T13:20:57Z) - Hybrid Latent Reasoning with Decoupled Policy Optimization [19.348125016748018]
HyLaR(Hybrid Latent Reasoning)は、連続的な視覚的潜在表現を持つ離散テキスト生成をシームレスにインターリーブするフレームワークである。
我々は,HyLaRが細粒度知覚と一般的なマルチモーダル理解ベンチマークにおいて,最先端の潜時推論手法より優れていることを示す。
論文 参考訳（メタデータ） (2026-04-22T08:22:23Z) - $D^3$-RSMDE: 40$\times$ Faster and High-Fidelity Remote Sensing Monocular Depth Estimation [72.9912717963138]
リモートセンシング画像からのリアルタイムで高忠実な単眼深度推定は、多くのアプリケーションにとって不可欠である。
視覚変換器(ViT)のバックボーンを高密度な予測に使用するのは速いが、知覚品質は低いことが多い。
リモートセンシング単眼深度推定のための深度詳細拡散法(D3$-RSMDE)を提案する。
D3$-RSMDEは、Learninged Perceptual Image Patch similarity (LPIPS)の知覚距離を11.85%削減する。
論文 参考訳（メタデータ） (2026-03-17T10:50:36Z) - Multi-Paradigm Collaborative Adversarial Attack Against Multi-Modal Large Language Models [67.45032003041399]
本稿では,MLLMに対する敵例の転送可能性を高めるために,MPCAttack(Multi-Paradigm Collaborative Attack)フレームワークを提案する。
MPCOは異なるパラダイム表現の重要性を適応的にバランスさせ、グローバルな最適化を導く。
我々のソリューションは、オープンソースおよびクローズドソースMLLMに対する標的および未ターゲットの攻撃において、常に最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2026-03-05T06:01:26Z) - Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
VGPOは時間次元とグループ次元の両方で値の推定を再定義する。
スパース端末の報酬を密度の高いプロセス認識値推定に変換する。
標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
論文 参考訳（メタデータ） (2025-12-13T16:31:26Z) - Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。
mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
論文 参考訳（メタデータ） (2025-12-09T14:39:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。