論文の概要: Don't Send What You Don't Need: Question-Guided Token Pruning as a Privacy Defense for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.15671v1
• Date: Mon, 14 Sep 2026 14:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.456373
• Title: Don't Send What You Don't Need: Question-Guided Token Pruning as a Privacy Defense for Vision-Language Models
• Title（参考訳）: 必要のないものを送らない:ビジョンランゲージモデルのためのプライバシ・ディフェンスとしての質問ガイド付きトーケン・プルーニング
• Abstract要約: QPriv-VLはプライバシを意識したトークン処理フレームワークである。 タスクユーティリティとプライバシの感度に基づいて、送信前に視覚トークンをプルークする。 GQA,OK-VQA,VQAv2,SLAKE,VQA-RAD,PathVQAを4つのプライバシ攻撃ファミリーに対して評価した。
• 参考スコア（独自算出の注目度）: 0.30938904602244355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual Question Answering (VQA) with Vision-Language Models (VLMs) is increasingly used in privacy-sensitive and bandwidth-constrained settings. Federated Learning (FL), Split Learning (SL), and U-Shaped Split Learning (USL) keep raw data local, but transmitting all visual tokens across a model partition remains costly and can expose private information. We propose QPriv-VL, a question-guided, privacy-aware token-pruning framework for FL, SL, and USL that prunes visual tokens before transmission based on task utility and privacy sensitivity. Its core component is a lightweight Dynamic Threshold Predictor (DTP) that jointly estimates a sample-specific pruning ratio and a token-level retention mask in one forward pass. DTP combines question relevance, computed from cross-modal similarity between visual patches and the pooled question embedding, with a sensitivity signal derived from frozen DINOv2 features. This allows the model to suppress potentially sensitive regions while preserving patches useful for answering the question, without requiring sensitivity labels. We evaluate QPriv-VL on GQA, OK-VQA, VQAv2, SLAKE, VQA-RAD, and PathVQA against four privacy attack families: FSHA, FORA, iDLG, and attribute-inference membership inference attacks. DTP matches or outperforms fixed-ratio pruning while using substantially fewer transmitted tokens. On VQA-RAD, it reduces membership-inference attack success from 0.99 to 0.76-0.79, lowers FSHA and FORA reconstruction PSNR relative to fixed-ratio pruning, and preserves competitive VQA accuracy using about 40% of the original visual-token budget. A sensitivity exclusion ratio of 1.20 +/- 0.18 indicates preferential removal of privacy-sensitive patches, while explainability analysis shows that retention adapts to question semantics rather than generic visual saliency.
• Abstract（参考訳）: Visual Question Answering (VQA)とVision-Language Models (VLM)は、プライバシーに敏感で帯域幅に制約のある設定でますます使われている。 フェデレートラーニング(FL)、スプリットラーニング(SL)、U字型スプリットラーニング(USL)は生データをローカルに保持するが、モデルパーティションを横断するすべてのビジュアルトークンは高価であり、プライベート情報を公開することができる。 本稿では,FL,SL,USLのためのQPriv-VLを提案する。 コアコンポーネントは軽量のDynamic Threshold Predictor (DTP)で、サンプル固有のプルーニング比とトークンレベルの保持マスクを1つの前方パスで共同で推定する。 DTPは、視覚パッチとプールされた質問の埋め込みとの相互類似性から計算された質問関連性と、凍結したDINOv2特徴から導かれる感度信号を組み合わせる。 これにより、センシティブラベルを必要とせず、質問に答えるのに役立つパッチを保存しながら、潜在的にセンシティブな領域を抑えることができる。 GQA,OK-VQA,VQAv2,SLAKE,VQA-RAD,PathVQAの4つのプライバシ攻撃ファミリー(FSHA, FORA, iDLG, 属性推論メンバシップ推論攻撃)に対するQPriv-VLの評価を行った。 DTPは、かなり少ない送信トークンを使用しながら、固定比プルーニングにマッチまたは性能を向上する。 VQA-RADでは、メンバーシップ推論攻撃の成功を0.99から0.76-0.79に減らし、FSHAとFORA再構成PSNRを減少させ、元のビジュアルトーケン予算の約40%を使用して競合VQAの精度を維持する。 1.20 +/-0.18の感度排除比は、プライバシーに敏感なパッチを優先的に削除することを示し、説明可能性分析は、保持が一般的な視覚的サリエンシではなく、質問の意味に適応していることを示している。

関連論文リスト

• USPLIT-VQA: U-Shaped Split Learning for Visual Question Answering with Contribution-Aware Weighted Aggregation [0.30938904602244355]
  プライバシ保存型VQAのためのU字型分割学習フレームワークを提案する。 CAWAは攻撃者の影響力を98%以上削減し、高い汚職レベルの実験はその限界を識別する。
  論文  参考訳（メタデータ） (2026-09-10T19:56:27Z)
• Harnessing Image Question Dependence for Better VLM Test-time Reinforcement Learning [66.13367818892503]
  Vlm 適応性を向上させるために画像探索依存を利用したテスト時強化学習フレームワーク TTIQ を提案する。 TTIQの教師は、元の画像検索ペアとその画像と質問対応のバリエーションの下で、各サンプル応答を強制する。 イメージと質問への依存と信頼を組み合わせることで、共同で接地された応答を好む応答レベルの報酬を構築する。
  論文  参考訳（メタデータ） (2026-09-09T22:54:15Z)
• Defending Wearable VLMs Against Private Attribute Inference [21.179736294173168]
  ウェアラブルなVLMパイプラインは、エゴセントリックなビジュアルキャプチャによる連続的なマルチモーダルアシストを約束する。 有用な援助に必要なエゴセントリックな証拠は、着用者や近くの傍観者に関する個人的な属性を明らかにすることもできる。 我々は,信頼境界を離れる前に,視覚的トークンの残差変換を学習するLLM前ディスアンタングルであるToken-Guided Attribute Privacy (TGAP)を提案する。
  論文  参考訳（メタデータ） (2026-08-26T21:36:45Z)
• Just Noticeable Difference Modeling for Token Compression in Vision-Language-Action Models [62.522141464687195]
  本稿では,単に目立った差分(JND)の原理を具体化するためのアクションJNDを紹介する。 トークンの変化は、誘導された行動偏差が許容範囲内に留まっている場合にのみ許容できると考えられる。 結果として生じるアクション耐性スコアは、VLA圧縮パラダイムのプラグアンドプレイ基準として機能する。
  論文  参考訳（メタデータ） (2026-08-21T15:59:37Z)
• OccamToken: Efficient VLM Inference with Training-Free and Budget-Adaptive Token Pruning [24.164883144694656]
  OccamTokenは、絶対トークンランキングを登録された相対的エビデンステストに置き換える、トレーニング不要のフレームワークである。 我々はOccamTokenが、追加のトレーニングなしで精度と効率のトレードオフを継続的に改善していることを示します。
  論文  参考訳（メタデータ） (2026-05-28T09:20:47Z)
• Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models [52.78477729846771]
  本稿では,COAST(Contrastive Adaptive Semantic Token Pruning)について紹介する。 COASTはトークン予算をまたいだ強力なプルーニングベースラインを一貫して上回り、複数のLVLMファミリをまたいだ一般化を実現している。
  論文  参考訳（メタデータ） (2026-05-10T09:07:04Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• FASA: Frequency-aware Sparse Attention [56.26881872333624]
  本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。 我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。 長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
  論文  参考訳（メタデータ） (2026-02-03T06:09:06Z)
• All You Need Are Random Visual Tokens? Demystifying Token Pruning in VLLMs [43.80391827200227]
  ディープレイヤでは、既存のトレーニングフリープルーニング手法はランダムプルーニングに勝る。 ビジュアルトークンは、ネットワーク深度の増加に伴い、徐々にサリエンスを失う。 深層層での単純なランダムプルーニングは性能と効率のバランスを効果的に表す。
  論文  参考訳（メタデータ） (2025-12-08T14:16:01Z)
• Contrast and Classify: Training Robust VQA Models [60.80627814762071]
  本稿では,クロスエントロピーとコントラスト損失の両方を最適化する新しいトレーニングパラダイム(ConClaT)を提案する。 双方の損失を -- 交互に,あるいは共同で -- 最適化することが,効果的なトレーニングの鍵であることに気付きました。
  論文  参考訳（メタデータ） (2020-10-13T00:23:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。