論文の概要: Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.02819v1
• Date: Thu, 02 Jul 2026 23:16:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.429295
• Title: Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models
• Title（参考訳）: 大規模ビジョンランゲージモデルのクラウドエッジ推論におけるビジョントークン操作攻撃
• Abstract要約: Cloud-edge Large Vision-Language Model (LVLM)推論は、エッジデバイスとクラウドサーバ間の計算を分割することで、効率的なデプロイメントを可能にする。 ブラックボックスマン・イン・ザ・ミドル設定下で,視覚トークン操作攻撃(VTM-Attack)について検討した。 そこで我々は,4つのナブ攻撃戦略と最適化に基づくトークン選択手法を提案する。
• 参考スコア（独自算出の注目度）: 11.826762642822219
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cloud-edge Large Vision-Language Model (LVLM) inference enables efficient deployment by splitting computation between edge devices and cloud servers. In this process, intermediate vision tokens are transmitted from the edge to the cloud over a communication link, thereby exposing a new attack surface. We study vision token manipulation attack (VTM-Attack) under a black-box man-in-the-middle setting, where an adversary intercepts and manipulates a subset of transmitted vision tokens under a budget constraint. We propose four naïve attack strategies and an optimization-based token selection method. Experiments on 6 state-of-the-art LVLMs (3B-72B) across 4 benchmarks show that manipulating only 10\% of vision tokens can reduce accuracy by up to 88.31\%. These results reveal a critical vulnerability in cloud-edge LVLM inference.
• Abstract（参考訳）: Cloud-edge Large Vision-Language Model (LVLM)推論は、エッジデバイスとクラウドサーバ間の計算を分割することで、効率的なデプロイメントを可能にする。 この過程で、中間視覚トークンが通信リンクを介してエッジからクラウドに送信され、新たな攻撃面が露出する。 ブラックボックス・マン・イン・ザ・ミドル・セッティングの下で視覚トークン操作攻撃(VTM-Attack)について検討し、敵が予算制約の下で送信された視覚トークンのサブセットをインターセプトし操作する。 そこで我々は,4つのナイーブ攻撃戦略と最適化に基づくトークン選択手法を提案する。 4つのベンチマークで6つの最先端のLVLM(3B-72B)の実験により、視覚トークンの10倍の操作しかできないことが判明した。 これらの結果は、クラウドエッジのLVLM推論における重大な脆弱性を明らかにしている。

関連論文リスト

• LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference [63.932718076408584]
  LASTは、エッジクラウド協調MLLM推論におけるクエリ依存のビジュアルトークンプルーニングのための、トレーニング不要のフレームワークである。 完全な精度の95.4%を維持し、視覚トークンの12.5%しか保持せず、エッジ側の選択オーバーヘッドは低く、クラウド側の計算は少ない。
  論文  参考訳（メタデータ） (2026-07-30T09:59:25Z)
• Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack [78.02110947708535]
  敵対的なイメージは、プロンプトインジェクションを通じて、マルチモーダルな大規模言語モデルに深刻なセキュリティ上の脅威をもたらす。 敵の攻撃を成功させるには、画像全体を一様に依存するのではなく、重要な画像トークンの小さなサブセットに依存していることを示す。 本稿では,これらのトークンを勾配解析により局所化し,マスキングにより中和するグラディエントトークンマスキング(GTM)を提案する。
  論文  参考訳（メタデータ） (2026-05-24T17:51:34Z)
• Think Proprioceptively: Embodied Visual Reasoning for VLA Manipulation [30.317391278974302]
  ThinkProprioは、プロプリセプションをVLM埋め込み空間内の一連のテキストトークンに変換する。 テキストトークン化は、学習したプロジェクタよりも効果的であり、約15%の視覚トークンを保持することは、完全なトークンセットを使用するパフォーマンスにマッチする。
  論文  参考訳（メタデータ） (2026-02-06T10:16:22Z)
• TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models [57.32952956674526]
  大規模視覚言語モデル(LVLM)に対するより回避的でステルス的なバックドア攻撃であるTokenSwapを紹介する。 固定されたターゲットコンテンツを強制するのではなく、TokenSwapはテキスト内のオブジェクト関係の理解を微妙に妨害する。 TokenSwapは、優れた回避性とステルス性を維持しながら、高い攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-09-29T10:19:22Z)
• MMTok: Multimodal Coverage Maximization for Efficient Inference of VLMs [38.6018459893585]
  VLM(Vision-Language Models)は,視覚入力を視覚トークンに変換することで,言語指導による視覚内容の理解に優れた性能を示す。 視覚トークンの数を減らすために多くのアルゴリズムが提案されているが、視覚言語タスクの固有のマルチモーダル特性は無視されている。 本稿では,視覚トークンとテキストトークンの両方を活用して,カバレッジの基準によって情報的視覚トークンを選択することを提案する。
  論文  参考訳（メタデータ） (2025-08-25T17:57:49Z)
• CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models [75.88232735646018]
  LVLM(Large Vision-Language Models)は、画像やビデオから抽出されたテキストトークンとビジョントークンからなるマルチモーダル入力を処理する。 既存の手法は冗長な視覚トークンを創りだそうとしており、視覚表現のかなりの冗長性を明らかにしている。 我々は,LVLMで処理される前に冗長な視覚トークンを予測・削除するために,Plug-and-Play Pruning Module (PPM) を用いるレイヤワイズなコンテキスト対応型視覚トークンプルーニング手法であるCoViPALを提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:47:00Z)
• Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
  視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。 これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。 トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
  論文  参考訳（メタデータ） (2025-06-27T14:55:40Z)
• VEAttack: Downstream-agnostic Vision Encoder Attack against Large Vision Language Models [33.120141513366136]
  LVLM(Large Vision-Language Models)は、マルチモーダル理解と生成において顕著な能力を示す。 既存の効果的な攻撃は常にタスク固有のホワイトボックス設定に集中する。 我々は,LVLMのビジョンエンコーダのみをターゲットとした,シンプルで効果的なビジョンアタック(VEAttack)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T03:46:04Z)
• Top-Down Compression: Revisit Efficient Vision Token Projection for Visual Instruction Tuning [70.57180215148125]
  ビジュアルインストラクションチューニングは、大きな言語モデルで視覚世界を理解できるようにすることを目的としている。 既存の手法は、精度と効率の間の難解なトレードオフに悩まされることが多い。 LLaVA-Meteorは,コア情報を妥協することなく,視覚トークンを戦略的に圧縮する手法である。
  論文  参考訳（メタデータ） (2025-05-17T10:22:29Z)
• Edge-Only Universal Adversarial Attacks in Distributed Learning [49.546479320670464]
  本研究では,攻撃者がモデルのエッジ部分のみにアクセスした場合に,ユニバーサルな敵攻撃を発生させる可能性について検討する。 提案手法は, エッジ側の重要な特徴を活用することで, 未知のクラウド部分において, 効果的な誤予測を誘導できることを示唆する。 ImageNetの結果は、未知のクラウド部分に対する強力な攻撃伝達性を示している。
  論文  参考訳（メタデータ） (2024-11-15T11:06:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。