論文の概要: Visually Legible but Adversarial: Watermark-Constrained Attacks on End-to-End VLMs for Document Understanding
- arxiv url: http://arxiv.org/abs/2610.15728v1
- Date: Sun, 11 Oct 2026 16:05:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 17:03:20.079762
- Title: Visually Legible but Adversarial: Watermark-Constrained Attacks on End-to-End VLMs for Document Understanding
- Title（参考訳）: 可視だが敵対的:文書理解のための透かし制約されたVLMに対する攻撃
- Abstract要約: 我々はAR-AWM(Auto-Regional Adversarial Watermarking)を紹介する。
エンド・ツー・エンド視覚言語モデル(VLM)に対するモデル認識型ホワイトボックス攻撃
生成には質問、回答、パースプロンプト、言語モデル勾配、言語モデル出力は使用しない。
- 参考スコア（独自算出の注目度）: 7.771869117669591
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visible watermarks convey document ownership, confidentiality, and status, but can also carry adversarial signals. We introduce Auto-Regional Adversarial Watermarking (AR-AWM), a model-aware white-box attack on end-to-end visual language models (VLMs) for document understanding. AR-AWM constructs a small, spatially distributed watermark-text support and optimizes only its pixels to disrupt visual representations. The attack is untargeted and question-agnostic: generation uses no questions, answers, parsing prompts, language-model gradients, or language-model outputs. Each attacked page is reused across downstream queries. On Qwen2.5-VL-7B, a watermark support covering 7.98% of page pixels under the reporting threshold reduces DocVQA exact match from 0.899 to 0.150 and average normalized Levenshtein similarity (ANLS) from 0.939 to 0.212. Selected qualitative cases retain visually legible source fields. The same support without optimization and with matched random perturbations retains ANLS of 0.932 and 0.933, respectively, identifying adversarial optimization as the primary cause of degradation. Layout-matched optimized rectangles yield ANLS of 0.276, showing an incremental benefit from text-shaped geometry. AR-AWM also degrades all reported text, formula, reading-order, and table metrics on OmniDocBench. Separate white-box optimization on InternVL2.5-8B reduces ANLS from 0.922 to 0.046, while weak cross-model transfer reveals strong encoder specificity. These results identify conventional watermark-shaped supports as an adversarial surface for document VLMs in the evaluated white-box setting.luated white-box setting.
- Abstract（参考訳）: 可視な透かしは、文書の所有権、機密性、ステータスを伝達するが、敵対的な信号を運ぶこともできる。
本稿では、文書理解のためのエンドツーエンド視覚言語モデル(VLM)に対するモデル対応のホワイトボックス攻撃であるAR-AWM(Auto-Regional Adversarial Watermarking)を紹介する。
AR-AWMは、空間的に分散した小さな透かしテキストをサポートし、そのピクセルのみを最適化して視覚的表現を妨害する。
生成は質問や回答、パースプロンプト、言語モデル勾配、言語モデル出力を使用しない。
各攻撃されたページは下流のクエリで再利用される。
Qwen2.5-VL-7Bでは、7.98%のページピクセルをカバーする透かしサポートにより、DocVQAの正確なマッチングは0.899から0.150に減少し、平均正規化されたLevenshtein類似度(ANLS)は0.939から0.212に低下する。
選択された定性ケースは、視覚的に可視なソースフィールドを保持します。
最適化のない同じサポートと一致したランダムな摂動は、それぞれ0.932と0.933のANLSを保持し、逆最適化を主な劣化原因とみなす。
レイアウト整合された最適化長方形によりANLSは0.276となり、テキスト形状の恩恵が増す。
AR-AWMはまた、OmniDocBench上で報告されたすべてのテキスト、公式、読み込み順序、テーブルメトリクスを分解する。
InternVL2.5-8Bのホワイトボックス最適化はANLSを0.922から0.046に減らし、弱いクロスモデル転送はエンコーダ特異性を強く示している。
これらの結果は,従来の透かし形状の支持体を,評価されたホワイトボックス設定における文書VLMの逆面として同定した。
関連論文リスト
- SemField: A Simple, Linear, Continuous, yet Robust Semantic Watermark [38.58009792931064]
SemFieldはトレーニング不要なセマンティックな透かしで、線形信号を文埋め込み空間に直接埋め込む。
また、初期文から最適方向を決定する極性ロック付き変種SemField-PLを提案する。
どちらの変種も、1%の偽陽性率(FPR)で88.2%から90.4%の平均真陽性率(TPR)を達成する。
論文 参考訳（メタデータ） (2026-10-08T12:35:11Z) - Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally [0.713496583173065]
目標摂動は、固定された目標キャプションに対する教師による訓練損失を、視覚シリアルモデル(VLM)のほぼゼロに駆動することができる。
我々はこの解離を列車/干渉ギャップと呼び、Qwen2.5-VL-7B-Instructの正確な機械的説明を与える。
論文 参考訳（メタデータ） (2026-10-02T15:27:28Z) - Confidence-Aware Ensemble and Long-Word Refinement for Artistic Text Recognition [0.6303112417588329]
アートテキスト認識(ATR)は、装飾的なフォント、湾曲したレイアウト、オブジェクトのような文字、散らかし、激しい歪みを言葉画像で組み合わせることがしばしばあるため、依然として困難である。
本稿では,この設定の標準化ベンチマークとしてWordArt-V1.5について検討し,最近のシーンおよび芸術的テキスト認識器を共通プロトコルで評価する。
本稿では, SVTRv2, PARSeq, MAERecを公式トレーニングスプリットの微調整後に組み合わせた自信認識アンサンブルを提案する。
論文 参考訳（メタデータ） (2026-08-30T18:56:04Z) - Are Prompt Optimizers Blind? Cross-Modal Visual Feedback for Automatic Prompt Optimization [59.164665622252016]
CMVF(Cross-Modal Visual Feedback)を紹介する。
CMVFは,(1)より強力なVLMが予測やラベルにアクセスせずに各失敗画像を検査する視覚診断段階と,(2)これらの観察結果を再利用可能なタスクレベルの視覚盲点パターンに圧縮する誤り認識集約段階とを包含する。
CMVFは、各目標において最強のベースラインを平均2.4ポイント改善し、各ベンチマークで最大6.5ポイント向上している。
論文 参考訳（メタデータ） (2026-07-27T12:31:58Z) - DocAtlas: Multilingual Document Understanding Across 80+ Languages [58.715440331861295]
本稿では,82言語を対象とした高忠実度OCRデータセットとベンチマークを構築するフレームワークDocAtlasを紹介する。
我々のデュアルパイプライン、ネイティブDOCX文書の微分レンダリング、左右スクリプトの合成ベース生成は正確な構造アノテーションを生成する。
論文 参考訳（メタデータ） (2026-05-12T18:09:38Z) - Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models [52.78477729846771]
本稿では,COAST(Contrastive Adaptive Semantic Token Pruning)について紹介する。
COASTはトークン予算をまたいだ強力なプルーニングベースラインを一貫して上回り、複数のLVLMファミリをまたいだ一般化を実現している。
論文 参考訳（メタデータ） (2026-05-10T09:07:04Z) - Cross-Modal Attention Analysis and Optimization in Vision-Language Models: A Study on Visual Reliability [0.0]
VLM(Vision-Language Models)は、強力なクロスモーダルなパフォーマンスを実現するが、近年の証拠は、視覚的証拠を過小評価しながら、テキスト記述に過度に頼っていることを示唆している。
意味的に矛盾するテキストと変化しない画像がペアリングされた場合の精度劣化(Drop)を測定することで、この相互依存を定量的に評価する逆評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-19T02:56:08Z) - A Visual Semantic Adaptive Watermark grounded by Prefix-Tuning for Large Vision-Language Model [48.79816664229285]
Visual Semantic Adaptive Watermark (VISA-Mark)は、視覚の忠実さを厳密に保ちながら検出可能な信号を埋め込む新しいフレームワークである。
提案手法では,動的ビジュアルエビデンス重みを抽出するために,軽量で効率的に訓練されたプレフィックスチューナーを用いる。
実験の結果、VISA-Markは視覚的一貫性が7.8%向上した従来の手法よりも優れていたことが確認された。
論文 参考訳（メタデータ） (2026-01-12T07:55:13Z) - $β$-CLIP: Text-Conditioned Contrastive Learning for Multi-Granular Vision-Language Alignment [53.42377319350806]
$-CLIPは、多言語テキスト条件のコントラスト学習フレームワークである。
$-CALは、この階層に固有のセマンティックオーバーラップに対処する。
$-CLIPは、高密度視覚言語対応のための堅牢で適応的なベースラインを確立する。
論文 参考訳（メタデータ） (2025-12-14T13:03:20Z) - Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。
COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。
COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
論文 参考訳（メタデータ） (2025-10-28T03:47:44Z) - Learning Hyperspectral Images with Curated Text Prompts for Efficient Multimodal Alignment [1.7188280334580195]
我々は、CLIPスタイルのコントラストトレーニングフレームワークを利用して、超スペクトルシーン理解のための視覚言語モデル(VLM)の最適化を試みる。
我々のフレームワークは、視覚バックボーンから凍結した大きな埋め込みモデルの潜在空間へのボクセルレベルの埋め込みをマッピングする。
提案手法は全パラメータの0.07パーセントしか更新していないが、最先端の性能が得られる。
論文 参考訳（メタデータ） (2025-09-20T23:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。