論文の概要: Structured Layout Priors for Robust Out-of-Distribution Visual Document Understanding

• arxiv url: http://arxiv.org/abs/2605.19866v1
• Date: Tue, 19 May 2026 13:58:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.38479
• Title: Structured Layout Priors for Robust Out-of-Distribution Visual Document Understanding
• Title（参考訳）: 構造化レイアウトによるロバストなアウト・オブ・ディストリビューション視覚文書理解
• Authors: Peter El Hachem, Ahmed Nassar, A. Said Gurbuz, Christoph Auer, Peter W. J. Staar,
• Abstract要約: VLM(Vision-Language Models)は、ドキュメントをエンドツーエンドで解析するが、トレーニングで見られるものとは異なり、頻繁にレイアウトを分解する。 デコーダがコンテンツを抽出する前に、まずレイアウトエンティティを分類し、ローカライズする必要があります。 我々は、軽量RT-DETR検出器を実行し、ネイティブDocTags語彙で出力をシリアライズすることで、デコーダの外でHop 1をプリリゾルトする。
• 参考スコア（独自算出の注目度）: 5.523397739244399
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) parse documents end-to-end but frequently break down on layouts unlike those seen in training. We attribute this to a two-hop bottleneck: before the decoder can extract content (Hop 2), it must first classify and localize the enclosing layout entity (Hop 1), and when the first hop fails the second collapses into omissions, malformed structure, or autoregressive repetition. We pre-resolve Hop 1 outside the decoder by running a lightweight RT-DETR detector, serializing its outputs in the parser's native DocTags vocabulary, and injecting them into the prompt alongside the full page image. Unlike analyze-then-parse approaches that crop the page, or prior prompt-level priors written in plain text, our prior shares the decoder's generation space and leaves the global image in view as a fallback when detections are noisy. On a 10k-page structural out-of-distribution benchmark, markdown F1 rises from $0.37$ to $0.92$; on the Chinese subset of OmniDocBench, table TEDS rises from $0.01$ to $0.36$; and on the 26k-page ViDoRe V3 benchmark, infinite-loop decoding failures drop across every industrial domain tested. These gains cost $15\%$ wall-clock latency and a median of $74$ prompt tokens, with no architectural change to the base VLM. An attention-level analysis further reveals a bimodal phase shift in which the decoder attends to injected layout tokens when emitting structure and to image patches when emitting content, consistent with the two-hop bottleneck being alleviated. Model weights will be released to support reproducibility.
• Abstract（参考訳）: VLM(Vision-Language Models)は、ドキュメントをエンドツーエンドで解析するが、トレーニングで見られるものとは異なり、頻繁にレイアウトを分解する。 復号器がコンテンツを抽出する前に(ホップ2)、囲むレイアウトエンティティを分類してローカライズし(ホップ1)、第1ホップが失敗すると、第2ホップは省略、不正な構造、あるいは自己回帰的な繰り返しに分解される。 我々は、軽量RT-DETR検出器を実行し、パーサのネイティブDocTags語彙に出力をシリアライズし、フルページ画像とともにプロンプトに注入することで、デコーダの外でHop 1をプリリゾルトする。 ページをトリミングするアナライザパースアプローチや、プレーンテキストで書かれた事前プロンプトレベルのプリエントとは違って、先例ではデコーダの生成スペースを共有し、検出がノイズである場合にはグローバルイメージをフォールバックとして見ることができます。 10kページの構造外分布ベンチマークでは、Markdown F1は0.37$から0.92$に上昇し、OmniDocBenchの中国のサブセットでは、テーブルTEDSは0.01$から0.36$に上昇し、26kページのViDoRe V3ベンチマークでは、テストされたすべての産業ドメインで無限ループ復号失敗が減少する。 これらの上昇は、壁時計のレイテンシが15\%、中央値が74ドルのプロンプトトークンで、基本のVLMにアーキテクチャの変更はない。 さらに、アテンションレベル解析により、デコーダが、構造体を出力するときに注入されたレイアウトトークンに、コンテンツを出力するときにイメージパッチに出席するバイモーダル位相シフトが、2ホップボトルネックを緩和する。 再現性をサポートするモデルウェイトがリリースされる。

関連論文リスト

• FastOCR: Dynamic Visual Fixation via KV Cache Pruning for Efficient Document Parsing [51.905216364362325]
  我々は2つの相補的なモジュールを持つトレーニングフリーフレームワークであるFastOCRを提案する。 FastOCRは未実行モデルの精度の98%を保持し、デコードステップあたりの視覚トークンの5%にしか到達しない。
  論文  参考訳（メタデータ） (2026-05-17T13:39:47Z)
• Chain of Evidence: Pixel-Level Visual Attribution for Iterative Retrieval-Augmented Generation [19.889854990300595]
  反復検索拡張生成(iRAG)は、複雑なマルチホップ問題に答える強力なパラダイムとして登場した。 Evidence (CoE) の textbfChain について述べる。
  論文  参考訳（メタデータ） (2026-05-02T06:40:42Z)
• Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing [2.6382975801439836]
  LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。 Copy-as-Decodeは、2プリミティブ文法上の構造化復号化として生成を再キャストする復号化機構である。
  論文  参考訳（メタデータ） (2026-04-20T12:29:53Z)
• Global Context Compression with Interleaved Vision-Text Transformation [12.971394377165767]
  本稿では,前処理と推論の両方の段階でトークンを節約するグローバルコンテキスト圧縮について検討する。 入力テキストチャンクと視覚的エンコーディングとをインターリーブする新しいトランスフォーマーであるVIST2を提案する。 4$times$圧縮比で、結果として得られたモデルは長文タスクのベースラインよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2026-01-15T13:29:16Z)
• Hierarchical Token Prepending: Enhancing Information Flow in Decoder-based LLM Embeddings [52.49524240846879]
  本稿では,注目レベルの圧縮と読み出しレベルのオーバーシャッシングを緩和する階層型トークンプレッペンディングを提案する。 HTPは、入力をブロックに分割し、ブロックレベルの要約トークンをその後のブロックにプリペンドし、後方情報フローの経路を作成する。 シンプルなアーキテクチャに依存しない方法として、HTPはゼロショットモデルと微調整モデルの両方を強化し、優れた長期文書埋め込みへのスケーラブルなルートを提供する。
  論文  参考訳（メタデータ） (2025-11-18T19:37:40Z)
• Vision-centric Token Compression in Large Language Model [51.92055188780033]
  Vision Centric Token Compression (Vist)は、人間の読書を反映した高速圧縮フレームワークである。 11のコンテキスト内学習ベンチマークでは、Vistは同じ精度を2.3倍のトークンで達成し、FLOPを16%削減し、メモリを50%削減した。
  論文  参考訳（メタデータ） (2025-02-02T13:10:06Z)
• SegVG: Transferring Object Bounding Box to Segmentation for Visual Grounding [56.079013202051094]
  ボックスレベルのアノテーションを信号として転送する新しい手法であるSegVGを提案する。 このアプローチでは,ボックスレベルのレグレッションとピクセルレベルのセグメンテーションの両方の信号としてアノテーションを反復的に利用することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:30:45Z)
• Pushdown Layers: Encoding Recursive Structure in Transformer Language Models [86.75729087623259]
  再帰は人間の言語の特徴であり、本質的には自己注意に挑戦する。 この作業では、新しいセルフアテンション層であるPushdown Layersを導入している。 プッシュダウン層を備えたトランスフォーマーは、劇的に改善され、3.5倍の高効率な構文一般化を実現した。
  論文  参考訳（メタデータ） (2023-10-29T17:27:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。