論文の概要: State-Conditioned Visual Evidence Retrieval for Fine-Grained Perception in Document Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.28698v1
• Date: Thu, 27 Aug 2026 12:56:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.71851
• Title: State-Conditioned Visual Evidence Retrieval for Fine-Grained Perception in Document Vision-Language Models
• Title（参考訳）: 文書視覚言語モデルにおける微粒化知覚のための状態条件付き視覚的エビデンス検索
• Abstract要約: 文書解析は、きめ細かい視覚知覚に強い要求を与える。 既存の視覚言語モデル(VLM)に基づく解析手法は、グローバルに圧縮された視覚トークンに依存している。 自己回帰復号における状態条件付き視覚的エビデンス検索(SCVER)として認識を定式化する。
• 参考スコア（独自算出の注目度）: 49.57973975600996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compared with typical vision-language tasks, document parsing places stronger demands on fine-grained visual perception. Existing vision-language model (VLM)-based parsing approaches rely on globally compressed visual tokens, where fine-grained details are entangled within a single representation and repeatedly accessed during decoding. However, we observe that the visual evidence for each prediction is typically localized and conditioned on the current decoding state, whereas such representations must be accessed in full at every decoding step, resulting in inefficient computation. To address this mismatch, we formulate perception as state-conditioned visual evidence retrieval (SCVER) during autoregressive decoding. The model operates on a compact global representation for coarse structure and retrieves a small set of relevant high-resolution regions conditioned on the current token state. This coarse-to-fine design enables on-demand access to fine-grained visual cues, relieving globally shared representations from encoding all fine-grained details. We further find that learning such state-conditioned retrieval in VLMs is challenging and unstable. To stabilize this process, we introduce a Spatially-Guided Learning Objective (SGLO) to guide the retrieval process. Experiments on document parsing benchmarks show that SCVER improves robustness under reduced input resolution and achieves a better accuracy-efficiency trade-off, demonstrating the effectiveness of on-demand visual evidence retrieval for fine-grained perception.
• Abstract（参考訳）: 典型的な視覚言語タスクと比較すると、文書解析はきめ細かな視覚知覚に強い要求を与える。 既存の視覚言語モデル(VLM)ベースのパーシングアプローチは、グローバルに圧縮された視覚トークンに依存しており、細粒度の詳細は単一の表現に絡み合い、復号時に繰り返しアクセスされる。 しかし、各予測の視覚的証拠は、典型的には局所化され、現在の復号状態に条件付けられているのに対し、これらの表現は復号ステップ毎に完全にアクセスされなければならないため、非効率な計算結果となる。 このミスマッチに対処するため、自己回帰復号時に状態条件付き視覚的証拠検索(SCVER)として認識を定式化する。 このモデルは、粗い構造のためのコンパクトなグローバル表現で動作し、現在のトークン状態に条件付けられた、関連する高解像度領域の小さなセットを検索する。 この粗い設計により、細粒度の視覚的手がかりをオンデマンドでアクセスでき、細度の細かい詳細をエンコードすることからグローバルに共有された表現を軽減できる。 さらに,VLMにおける状態条件付き検索の学習は困難で不安定であることが判明した。 このプロセスを安定させるために、検索プロセスをガイドする空間誘導学習目的(SGLO)を導入する。 文書解析ベンチマークの実験により、SCVERは入力解像度の低減の下で堅牢性を向上し、精度と効率のトレードオフを向上し、細粒度知覚のためのオンデマンド視覚的証拠検索の有効性を実証した。

関連論文リスト

• FOVEA: Focused On-Demand Visual Evidence Adaptation for Cache-Friendly Multimodal Speculative Decoding [42.559533294854134]
  マルチモーダル投機的復号化は、軽量なドラフトモデルにより、より大きなターゲットモデルによる並列検証のための候補トークンを提案することにより、視覚言語モデルを加速させる。 既存の方法は通常、事前に定義された視覚的な予算や静的な圧縮表現のような、固定されたビジュアルインターフェースにドラフトを条件付けする。 本稿では、再利用可能なビジュアルメモリを構築し、ドラフト状態の有界サブセットを動的に検索するキャッシュフレンドリーなアプローチであるFOVEAを提案する。
  論文  参考訳（メタデータ） (2026-08-24T07:09:02Z)
• ViQ: Text-Aligned Visual Quantized Representations at Any Resolution [91.46185855575789]
  本稿では,視覚的量子化表現フレームワークViQについて紹介する。 我々のアプローチは、量子化学習をテキスト整列事前学習と特徴分別という2つの段階に構成する。 マルチモーダル・タスクの実験では、ViQは最先端のマルチモーダル・ビジョン・エンコーダに比べて競争性能が高いことを示した。
  論文  参考訳（メタデータ） (2026-06-25T17:29:27Z)
• MURE: Hierarchical Multi-Resolution Encoding via Vision-Language Models for Visual Document Retrieval [111.99106496142474]
  Visual Document Retrieval (VDR)は、微細な視覚的詳細とグローバルな文書構造の両方をキャプチャする表現を必要とする。 既存のVDRモデルは、高解像度文書を処理する際に効率と効率のバランスをとるのに苦労する。 本稿では,X-VisEmbパラダイムを提案する。X-VisEmbパラダイムは,多分解能サンプリングと符号化から,粒度横断的特徴融合から適応的表現蒸留へと進展する。
  論文  参考訳（メタデータ） (2026-03-07T15:17:22Z)
• Visual Self-Refine: A Pixel-Guided Paradigm for Accurate Chart Parsing [76.2602505940467]
  既存のモデルは、しばしば視覚的に密集したチャートに苦しむため、データの欠落、修正ミス、幻覚などのエラーにつながる。 複雑なチャートを読む際の精度を確保するために指を視覚アンカーとして使うという人間の戦略に触発され、視覚自己認識(VSR)と呼ばれる新しいパラダイムを提案する。 VSRの中核となる考え方は、モデルがピクセルレベルのローカライゼーション出力を生成し、それらを視覚化し、それらの視覚化を自身にフィードバックし、直感的にその潜在的な視覚的認識エラーを検査し修正できるようにすることである。
  論文  参考訳（メタデータ） (2026-02-18T13:40:53Z)
• VISTA-Bench: Do Vision-Language Models Really Understand Visualized Text as Well as Pure Text? [51.02924254085878]
  VLM(Vision-Language Models)は、テキスト入力と視覚入力のクロスモーダル理解において、優れたパフォーマンスを実現している。 VISTA-Benchは、マルチモーダル認識、推論、および非モーダル理解領域のベンチマークである。
  論文  参考訳（メタデータ） (2026-02-04T17:48:55Z)
• Revisit What You See: Disclose Language Prior in Vision Tokens for LVLM Decoding [6.612630497074871]
  LVLM(Large Vision-Language Models)は、視覚認識と言語理解を統合することで、マルチモーダルタスクにおける強力なパフォーマンスを実現する。 テキスト生成のガイドとして視覚トークンを参照するトレーニング不要な復号法であるReVisiTを提案する。
  論文  参考訳（メタデータ） (2025-06-11T08:46:55Z)
• GlocalCLIP: Object-agnostic Global-Local Prompt Learning for Zero-shot Anomaly Detection [5.530212768657544]
  グローバルプロンプトとローカルプロンプトの相補的学習を改善するために,局所的コントラスト学習を導入する。 ZSADにおけるGlocalCLIPの一般化性能を実世界の15のデータセットで実証した。
  論文  参考訳（メタデータ） (2024-11-09T05:22:13Z)
• Calibrated Self-Rewarding Vision Language Models [27.686545023186852]
  LVLM(Large Vision-Language Models)は、訓練済みの大規模言語モデル(LLM)と視覚モデルを統合することで、指導チューニングを通じて大幅に進歩した。 LVLMは、しばしば幻覚現象を示し、生成されたテキスト応答は言語的に妥当に見えるが、入力画像に矛盾する。 本稿では,候補応答を反復的に生成し,各応答に対する報酬を評価し,微調整のための選好データをキュレートすることで,モデルの自己改善を可能にするCalibrated Self-Rewarding(CSR)アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T14:30:33Z)
• Zero-Shot Video Moment Retrieval from Frozen Vision-Language Models [58.17315970207874]
  モーメント・テキストアライメントを容易にするため、任意のVLMから一般化可能なビジュアル・テクスチャの事前適応のためのゼロショット手法を提案する。 3つのVMRベンチマークデータセットで実施された実験は、ゼロショットアルゴリズムの顕著なパフォーマンス上の利点を示している。
  論文  参考訳（メタデータ） (2023-09-01T13:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。