論文の概要: Feature-Aware Token Attack for Compression-Triggered Stealthy Failures in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.39134v1
• Date: Wed, 30 Sep 2026 07:04:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.305737
• Title: Feature-Aware Token Attack for Compression-Triggered Stealthy Failures in Large Vision-Language Models
• Title（参考訳）: 大規模視覚言語モデルにおける圧縮トリガーステルス故障に対する特徴認識トークン攻撃
• Abstract要約: FATA(Feature-Aware Token Attack)は、注意抑制とコサインに基づく特徴保存を関連づける。 FATAの精度は96.3%、CBRは22.1%で、CAAは89.8%、CAAは15.7%である。
• 参考スコア（独自算出の注目度）: 20.428011554832093
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual-token compression improves the efficiency of large vision-language models, but can expose failures that full-token evaluation misses. We study adversarial images that preserve full-token correctness yet induce errors after compression, even when both inference paths succeed on the clean image. Creating such failures is challenging because perturbing token importance can also damage the visual content needed for full-token inference. We propose Feature-Aware Token Attack (FATA), which couples attention suppression with cosine-based feature preservation on a fixed set of salient clean-image tokens. In the primary LLaVA-1.5-7B setting, FATA uses only vision-encoder gradients, without access to the deployed compressor, token budget, or downstream task. Across four visually dependent task subsets and four compressors under a controlled reconstruction protocol, FATA achieves SR = 96.3% full-token accuracy retention and CBR = 22.1% conditional blinding, compared with 89.8% and 15.7% for CAA. Ablations support the role of both objectives in balancing compressed-path failure against full-token preservation. FATA also has the lowest measured detection rate among four attacks across three evaluated detectors at a 5% false-positive rate. These findings motivate assessing adversarial robustness jointly across full-token and compressed inference.
• Abstract（参考訳）: ビジュアルトーケン圧縮は、大きな視覚言語モデルの効率を向上するが、フルトーケン評価が見逃す失敗を明らかにすることができる。 両推定経路がクリーンな画像に成功しても, 圧縮後の完全正当性を保ちながら, 圧縮後の誤りを誘発する逆画像について検討する。 このような障害の作成は、摂動トークンの重要さが、完全な推論に必要な視覚的コンテンツを損なう可能性があるため、難しい。 本稿では,コサインに基づく特徴保存と注意抑制を併用した特徴認識攻撃(FATA)を提案する。 第一のLLaVA-1.5-7B設定では、FATAは、デプロイされた圧縮機、トークン予算、ダウンストリームタスクにアクセスすることなく、ビジョンエンコーダ勾配のみを使用する。 4つの視覚依存型タスクサブセットと4つのコンプレッサーで制御された再構成プロトコルの下で、FATAはSR = 96.3%、CBR = 22.1%、CAAは89.8%、CAAは15.7%である。 アブレーションは、圧縮されたパス障害と完全な保存のバランスをとる際の両方の目的の役割を支持する。 また、FATAは、評価された3つの検出器に対して、5%の偽陽性率で4つの攻撃のうち、最も低い測定率を持つ。 これらの知見は, 完全および圧縮された推論において, 対向的強靭性を共同で評価する動機となっている。

関連論文リスト

• Still There, No Longer Seen: Exposing Compression-Induced Risk in Large Vision-Language Models [20.07886405027695]
  我々は,大規模視覚言語モデルに対する圧縮誘導型リスクアタックであるCIRAを提案する。 CIRAはダウンストリームの質問やラベルは使用せず、言語モデル、デプロイされた圧縮機、正確な圧縮予算へのアクセスを必要としない。 その結果、CIRAのCSFRの平均値は20.35%であり、攻撃成功率は6.92%に制限されている。
  論文  参考訳（メタデータ） (2026-09-28T12:06:18Z)
• Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack [78.02110947708535]
  敵対的なイメージは、プロンプトインジェクションを通じて、マルチモーダルな大規模言語モデルに深刻なセキュリティ上の脅威をもたらす。 敵の攻撃を成功させるには、画像全体を一様に依存するのではなく、重要な画像トークンの小さなサブセットに依存していることを示す。 本稿では,これらのトークンを勾配解析により局所化し,マスキングにより中和するグラディエントトークンマスキング(GTM)を提案する。
  論文  参考訳（メタデータ） (2026-05-24T17:51:34Z)
• Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
  視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
  論文  参考訳（メタデータ） (2026-03-10T10:31:58Z)
• On the Adversarial Robustness of Large Vision-Language Models under Visual Token Compression [22.436953683970007]
  既存のエンコーダベースの攻撃は、圧縮視覚言語モデル(LVLM)の堅牢性を大幅に過大評価できることを示す。 本稿では, 圧縮機構やトークンの予算を仮定することなく, 摂動最適化と圧縮推論を一致させる圧縮-AliGnEd攻撃(CAGE)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T10:47:21Z)
• Less Is More -- Until It Breaks: Security Pitfalls of Vision Token Compression in Large Vision-Language Models [69.84867664371826]
  視覚トークン圧縮はLVLM(Large Vision-Language Models)のロバスト性を大幅に低下させることを示す。 小さくて知覚不能な摂動はトークンの重要度を著しく変更し、圧縮機構が誤ってタスククリティカル情報を破棄する。 我々は,この脆弱性を体系的に研究し,活用するための圧縮認識攻撃を提案する。
  論文  参考訳（メタデータ） (2026-01-17T13:02:41Z)
• Not All Tokens Are What You Need In Thinking [34.767739567093656]
  条件付きトークン選択(CTS)は、思考の連鎖において最も重要なトークンのみを特定し保存する。 CTSは、強い推論性能を維持しながら、効果的に長いCoTを圧縮する。 さらにトレーニングトークンを42%削減すると、限界5%の精度低下しか生じず、推論トークンの75.8%が減少する。
  論文  参考訳（メタデータ） (2025-05-23T12:41:29Z)
• Revisiting Token Pruning for Object Detection and Instance Segmentation [25.3324628669201]
  オブジェクトとインスタンスのセグメンテーションの推論を高速化するトークンプルーニングについて検討する。 従来のトークンプルーニング法と比較して,ボックス・マスクともに1.5mAPから0.3mAPに低下した。
  論文  参考訳（メタデータ） (2023-06-12T11:55:33Z)
• Robustifying Token Attention for Vision Transformers [72.07710236246285]
  ビジョントランスフォーマー(ViT)は、一般的な汚職の存在下でも精度が著しく低下している。 本稿では,2つの一般的な手法を用いて,より注意を安定させる2つの手法を提案する。 まず,Token-Aware Average Pooling (TAP)モジュールは,各トークンの局所的近傍に注意機構に参加することを奨励する。 第二に、出力トークンは、ほんの少しだけに集中するのではなく、多様な入力トークンの集合から情報を集約するように強制する。
  論文  参考訳（メタデータ） (2023-03-20T14:04:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。