論文の概要: The Vision Encoder as a Privacy Boundary: Visual-Token Side Channels in Encoder-Free Vision-Language Models

• arxiv url: http://arxiv.org/abs/2606.14783v1
• Date: Wed, 10 Jun 2026 10:39:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.149159
• Title: The Vision Encoder as a Privacy Boundary: Visual-Token Side Channels in Encoder-Free Vision-Language Models
• Title（参考訳）: プライバシ境界としてのビジョンエンコーダ:エンコーダフリービジョンランゲージモデルにおけるビジュアルトーケンサイドチャネル
• Authors: Chenyu Zhou, Qiliang Jiang, Shuning Wu, Xu Zhou,
• Abstract要約: ビジョンエンコーダは画像ピクセルをセマンティック埋め込みに圧縮し、暗黙的にプライバシー境界として機能する。 ビジョンフリー視覚言語モデル(VLM)は、画像パッチを直接言語モデルトークンストリームにルーティングすることで、この境界を除去する。 この攻撃は、乱雑で現実的な文書劣化と公文書画像へのゼロショット転送に生き残り、付加的なノイズや量子化のような価値レベルの防御に抵抗する。
• 参考スコア（独自算出の注目度）: 5.864346468963738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A vision encoder compresses image pixels into semantic embeddings, implicitly acting as a privacy boundary by preserving semantic content while attenuating pixel-local detail required for exact text recovery. Encoder-free vision-language models (VLMs) remove this boundary by routing image patches directly into the language-model token stream, thereby exposing an architectural privacy attack surface: intermediate visual tokens become a pre-output side channel. Under a token-access adversary, decoders invert visual-token streams from two encoder-free VLMs, Gemma4 and Fuyu, recovering recognizable image structure and readable held-out access codes, whereas matched encoder-based controls localize target regions but recover no exact strings. Within-model ablations show that the operative factor is spatial sampling fidelity of the visual-token grid, especially character-direction sampling density, rather than token or value count. The leakage is not limited to exported tokens: Gemma4 layer-0 key-value cache tensors are directly invertible, placing the side channel within KV caches commonly persisted by production serving stacks for decoding efficiency. The attack survives clutter, realistic document degradation, and zero-shot transfer to public document images, and it resists value-level defenses such as additive noise and quantization. Effective mitigation must therefore reduce spatial sampling, making removal of the vision encoder a first-class privacy decision in VLM deployment.
• Abstract（参考訳）: ビジョンエンコーダは、画像画素をセマンティック埋め込みに圧縮し、正確なテキスト回復に必要な画素ローカルディテールを減衰させながら、セマンティックコンテンツを保存することにより、プライバシー境界として暗黙的に機能する。 エンコーダフリービジョン言語モデル(VLM)は、画像パッチを言語モデルトークンストリームに直接ルーティングすることで、アーキテクチャ上のプライバシ攻撃面を露呈することで、この境界を除去する。 トークンアクセスの敵の下では、デコーダは2つのエンコーダのないVLM(Gemma4とFuyu)からの視覚的なストリームを反転させ、認識可能な画像構造と読み取り可能なホールトアウトアクセスコードを復元する一方、マッチしたエンコーダベースの制御はターゲット領域をローカライズするが、正確な文字列を復元しない。 モデル内アブリゲーションでは、操作因子は、トークンや値カウントではなく、特に文字方向サンプリング密度の空間的サンプリング忠実度であることが示されている。 Gemma4 layer-0 key-value cache tensorは直接逆転可能であり、デコード効率のためにプロダクションサービススタックが一般的に保持するKVキャッシュにサイドチャネルを配置する。 この攻撃は、乱雑で現実的な文書劣化や、公開文書画像へのゼロショット転送に生き残り、付加的なノイズや量子化のような価値レベルの防御に抵抗する。 したがって、効率的な緩和は空間サンプリングを減らす必要があり、視覚エンコーダの除去はVLMデプロイメントにおいて第一級のプライバシー決定となる。

関連論文リスト

• FastOCR: Dynamic Visual Fixation via KV Cache Pruning for Efficient Document Parsing [51.905216364362325]
  我々は2つの相補的なモジュールを持つトレーニングフリーフレームワークであるFastOCRを提案する。 FastOCRは未実行モデルの精度の98%を保持し、デコードステップあたりの視覚トークンの5%にしか到達しない。
  論文  参考訳（メタデータ） (2026-05-17T13:39:47Z)
• BackdoorIDS: Zero-shot Backdoor Detection for Pretrained Vision Encoder [13.008131372229458]
  BackdoorIDSは、事前訓練された視覚エンコーダのためのゼロショット、推論時バックドアサンプル検出方法である。 さまざまな攻撃タイプ、データセット、モデルファミリーで、既存の防御を一貫して上回る。 BackdoorIDSは、CNN、ViT、CLIP、LLaVA-1.5など、幅広いエンコーダアーキテクチャと互換性がある。
  論文  参考訳（メタデータ） (2026-03-12T08:32:19Z)
• High-Fidelity Text-to-Image Generation from Pre-Trained Vision-Language Models via Distribution-Conditioned Diffusion Decoding [64.13126192228604]
  本稿では,出力画像に対する拡散復号器のみを訓練することにより,画像の忠実度を向上させる拡散復号化フレームワークを提案する。 軽量なLogitは、VQ-VAEエンコーダからのトレーニング時間プロキシロジットとVLM生成ロジットをアライメントすることで、トレイン推論ギャップを緩和する。 提案手法は,VLM予測トークンからVQ-VAE再構成とテキスト・ツー・画像生成の両方の視覚的忠実度を継続的に向上する。
  論文  参考訳（メタデータ） (2026-03-11T07:02:48Z)
• HybridFlow: Infusing Continuity into Masked Codebook for Extreme Low-Bitrate Image Compression [51.04820313355164]
  HyrbidFlowは、連続的な機能ベースのストリームとコードブックベースのストリームを組み合わせることで、極めて低い条件下で高い知覚品質と高い忠実性を実現する。 実験の結果、超低速で複数のデータセットにまたがる優れた性能が示された。
  論文  参考訳（メタデータ） (2024-04-20T13:19:08Z)
• Neural Image Compression Using Masked Sparse Visual Representation [17.229601298529825]
  本研究では,Sparse Visual Representation (SVR) に基づくニューラル画像圧縮について検討し,学習されたビジュアルコードブックにまたがる離散潜在空間に画像が埋め込まれた。 コードブックをデコーダと共有することにより、エンコーダは効率的でクロスプラットフォームなコードワードインデックスを転送する。 本稿では,マスクを潜在機能部分空間に適用して品質のバランスと再構築を行うMasked Adaptive Codebook Learning (M-AdaCode)法を提案する。
  論文  参考訳（メタデータ） (2023-09-20T21:59:23Z)
• Divided Attention: Unsupervised Multi-Object Discovery with Contextually Separated Slots [65.302728042116]
  意味的アノテーションがない場合の視覚知覚における物体の出現について検討する。 得られたモデルは、監督を受けておらず、事前訓練された特徴を一切使用していないが、画像の領域を複数の移動領域に分割することができる。 結果として得られる動き分節法は、未知のさまざまなオブジェクトをリアルタイムで処理することができる。
  論文  参考訳（メタデータ） (2023-04-04T00:26:13Z)
• MILES: Visual BERT Pre-training with Injected Language Semantics for Video-text Retrieval [43.2299969152561]
  ゼロショット・ファインチューン評価プロトコルを用いた4つのデータセットのテキスト・ビデオ検索手法 提案手法は,ゼロショットおよびファインチューン評価プロトコルを用いた4つのデータセット上でのテキスト・ビデオ検索における最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2022-04-26T16:06:31Z)
• Modeling Lost Information in Lossy Image Compression [72.69327382643549]
  ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。 Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-22T04:04:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。