論文の概要: VisFocus: Prompt-Guided Vision Encoders for OCR-Free Dense Document Understanding

• arxiv url: http://arxiv.org/abs/2407.12594v1
• Date: Wed, 17 Jul 2024 14:16:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 16:56:39.800991
• Title: VisFocus: Prompt-Guided Vision Encoders for OCR-Free Dense Document Understanding
• Title（参考訳）: VisFocus: OCRフリードキュメント理解のためのプロンプトガイド付きビジョンエンコーダ
• Authors: Ofir Abramovich, Niv Nayman, Sharon Fogel, Inbal Lavi, Ron Litman, Shahar Tsiper, Royee Tichauer, Srikar Appalaraju, Shai Mazor, R. Manmatha,
• Abstract要約: VisFocusは、視覚エンコーダのキャパシティを言語プロンプトと直接結合することにより、OCRフリーな手法である。 視覚的エンコーダに入力された文書テキストのスニペットに言語マスキングを用いて,アーキテクチャ拡張と新たな事前学習タスクを組み合わせた。 我々の実験は、このプロンプト誘導型視覚符号化アプローチが性能を著しく向上させることを示した。
• 参考スコア（独自算出の注目度）: 18.609441902943445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, notable advancements have been made in the domain of visual document understanding, with the prevailing architecture comprising a cascade of vision and language models. The text component can either be extracted explicitly with the use of external OCR models in OCR-based approaches, or alternatively, the vision model can be endowed with reading capabilities in OCR-free approaches. Typically, the queries to the model are input exclusively to the language component, necessitating the visual features to encompass the entire document. In this paper, we present VisFocus, an OCR-free method designed to better exploit the vision encoder's capacity by coupling it directly with the language prompt. To do so, we replace the down-sampling layers with layers that receive the input prompt and allow highlighting relevant parts of the document, while disregarding others. We pair the architecture enhancements with a novel pre-training task, using language masking on a snippet of the document text fed to the visual encoder in place of the prompt, to empower the model with focusing capabilities. Consequently, VisFocus learns to allocate its attention to text patches pertinent to the provided prompt. Our experiments demonstrate that this prompt-guided visual encoding approach significantly improves performance, achieving state-of-the-art results on various benchmarks.
• Abstract（参考訳）: 近年、視覚的文書理解の分野において顕著な進歩が見られ、視覚と言語モデルのカスケードからなるアーキテクチャが主流となっている。 テキストコンポーネントは、OCRベースのアプローチで外部のOCRモデルを使用することで明示的に抽出するか、あるいは、OCRフリーアプローチで読み出し能力によって視覚モデルを付与することができる。 通常、モデルに対するクエリは言語コンポーネントにのみ入力され、ドキュメント全体を包含するために視覚的特徴を必要とする。 本稿では,視覚エンコーダのキャパシティを言語プロンプトと直接結合することにより,OCRフリーなVisFocusを提案する。 そのため、ダウンサンプリングレイヤを入力プロンプトを受け取り、ドキュメントの関連部分をハイライトできるレイヤに置き換えると同時に、他のレイヤを無視します。 アーキテクチャ拡張を新しい事前学習タスクと組み合わせ、プロンプトの代わりに視覚エンコーダに送付された文書テキストのスニペットに言語マスキングを用いて、フォーカス機能を備えたモデルを強化する。 その結果、VisFocusは提供されたプロンプトに関連するテキストパッチに注意を割ることを学ぶ。 実験により,このプロンプト誘導型ビジュアルエンコーディング手法により,様々なベンチマークで最先端の成果が得られ,性能が大幅に向上することが示された。

関連論文リスト

• Focus Anywhere for Fine-grained Multi-page Document Understanding [24.76897786595502]
  本稿では,LVLMを単ページ/複数ページの文書に注目する上で,効果的パイプライン,ハイブリッドデータ,チューニング戦略であるFoxを提案する。 我々は、複数の視覚語彙を用いて、インターリーブされた文書ページの視覚的ハイブリッド知識を抽出する。 我々は、複数の視覚語彙と文書内図形理解の完全な反応を達成するために、複数の語彙間の視覚データを前景として描画する。
  論文  参考訳（メタデータ） (2024-05-23T08:15:49Z)
• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• CREPE: Coordinate-Aware End-to-End Document Parser [13.530212337717515]
  視覚文書理解のためのOCRフリーシーケンス生成モデル(VDU)を定式化する。 本モデルは,文書画像からテキストを解析するだけでなく,マルチヘッドアーキテクチャに基づくテキストの空間座標も抽出する。 コーディネート・アウェア・エンド・ツー・エンドドキュメンテーション(Coordinate-aware End-to-end Document)と呼ばれる。 CREPEでは,OCRテキスト用の特別なトークンを導入することで,これらの機能を独自に統合する。
  論文  参考訳（メタデータ） (2024-05-01T00:30:13Z)
• Enhancing Visual Document Understanding with Contrastive Learning in Large Visual-Language Models [56.76307866160105]
  文書オブジェクト協調学習(Document Object Contrastive Learning, DoCo)と呼ばれる対照的な学習フレームワークを提案する。 DoCoは補助的なマルチモーダルエンコーダを利用して文書オブジェクトの特徴を取得し、それをLVLM(Large Visual-Language Models)の視覚エンコーダによって生成された視覚的特徴に合わせる。 提案するDoCoは,様々なLVLMの事前学習において,推論過程における計算複雑性の増大を招くことなく,プラグイン・アンド・プレイの事前学習手法として機能することが実証された。
  論文  参考訳（メタデータ） (2024-02-29T10:17:27Z)
• UReader: Universal OCR-free Visually-situated Language Understanding with Multimodal Large Language Model [108.85584502396182]
  MLLM(Multimodal Large Language Model)に基づく汎用OCRのない視覚的言語理解の最初の探索であるUReaderを提案する。 MLLMの浅いテキスト認識能力を利用することで、パラメータを1.2%だけ微調整した。 言語理解タスク10のうち8つは、最先端のocrフリーな性能を実現している。
  論文  参考訳（メタデータ） (2023-10-08T11:33:09Z)
• mPLUG-DocOwl: Modularized Multimodal Large Language Model for Document Understanding [55.4806974284156]
  文書理解とは、ウェブページのようなデジタル文書から自動的に情報を抽出し、分析し、理解することである。 既存のMLLM(Multi-model Large Language Models)は、浅いOCRフリーテキスト認識において、望ましくないゼロショット機能を実証している。
  論文  参考訳（メタデータ） (2023-07-04T11:28:07Z)
• PreSTU: Pre-Training for Scene-Text Understanding [49.288302725486226]
  シーンテキスト理解(STU)に特化した新しい事前学習レシピであるPreSTUを提案する。 PreSTUは、OCR対応の事前学習目標を導入し、モデルが画像からテキストを認識し、残りの画像コンテンツに接続することを奨励する。 8つの視覚的質問応答と4つの画像キャプションベンチマークに対して,この事前学習アプローチの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2022-09-12T18:29:55Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• PICK: Processing Key Information Extraction from Documents using Improved Graph Learning-Convolutional Networks [5.210482046387142]
  文書から重要な情報抽出は依然として課題である。 我々は,KIEの複雑なドキュメントレイアウトを扱う上で,効果的かつ堅牢なフレームワークであるPICKを紹介する。 提案手法は, 基準線法を有意差で上回っている。
  論文  参考訳（メタデータ） (2020-04-16T05:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。