論文の概要: TAP-VL: Text Layout-Aware Pre-training for Enriched Vision-Language Models

• arxiv url: http://arxiv.org/abs/2411.04642v1
• Date: Thu, 07 Nov 2024 11:54:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:40:01.289122
• Title: TAP-VL: Text Layout-Aware Pre-training for Enriched Vision-Language Models
• Title（参考訳）: TAP-VL:リッチビジョン言語モデルのためのテキストレイアウト対応事前学習
• Authors: Jonathan Fhima, Elad Ben Avraham, Oren Nuriel, Yair Kittenplon, Roy Ganz, Aviad Aberdam, Ron Litman,
• Abstract要約: TAP-VLは、光学文字認識情報を異なるモダリティとして扱い、任意のビジョン・ランゲージ(VL)モデルにシームレスに統合する。 実験は、トップパフォーマンスのVLモデルにTAP-VLを適用する際に、一貫した性能改善を示す。
• 参考スコア（独自算出の注目度）: 11.508589810076147
• License:
• Abstract: Vision-Language (VL) models have garnered considerable research interest; however, they still face challenges in effectively handling text within images. To address this limitation, researchers have developed two approaches. The first method involves utilizing external Optical Character Recognition (OCR) tools to extract textual information from images, which is then prepended to other textual inputs. The second strategy focuses on employing extremely high-resolution images to improve text recognition capabilities. In this paper, we focus on enhancing the first strategy by introducing a novel method, named TAP-VL, which treats OCR information as a distinct modality and seamlessly integrates it into any VL model. TAP-VL employs a lightweight transformer-based OCR module to receive OCR with layout information, compressing it into a short fixed-length sequence for input into the LLM. Initially, we conduct model-agnostic pretraining of the OCR module on unlabeled documents, followed by its integration into any VL architecture through brief fine-tuning. Extensive experiments demonstrate consistent performance improvements when applying TAP-VL to top-performing VL models, across scene-text and document-based VL benchmarks.
• Abstract（参考訳）: VL(Vision-Language)モデルは研究の関心を集めているが、画像内のテキストを効果的に扱えるという課題に直面している。 この制限に対処するため、研究者は2つのアプローチを開発した。 第1の方法は、外部光学文字認識(OCR)ツールを使用して、画像からテキスト情報を抽出し、他のテキスト入力にプリコンパイルする。 第2の戦略は、テキスト認識機能を改善するために非常に高解像度な画像を活用することに焦点を当てている。 本稿では,OCR情報を異なるモダリティとして扱い,任意のVLモデルにシームレスに統合するTAP-VLという新しい手法を導入することにより,最初の戦略の強化に焦点をあてる。 TAP-VLは軽量トランスフォーマーベースのOCRモジュールを使用し、レイアウト情報でOCRを受信し、LLMに入力するために短い固定長シーケンスに圧縮する。 最初はラベルのないドキュメント上でOCRモジュールのモデルに依存しない事前トレーニングを行い、その後、簡単な微調整によって任意のVLアーキテクチャに統合する。 大規模な実験は、シーンテキストと文書ベースのVLベンチマークで、トップパフォーマンスのVLモデルにTAP-VLを適用する場合、一貫したパフォーマンス改善を示す。

関連論文リスト

• Image2Sentence based Asymmetrical Zero-shot Composed Image Retrieval [92.13664084464514]
  合成画像検索(CIR)の課題は,検索画像とユーザの意図を記述したテキストに基づいて画像を取得することである。 既存の手法は、CIRタスクにおける高度な大規模視覚言語(VL)モデルにおいて大きな進歩を遂げているが、それらは一般的に、モデルトレーニングのためのラベル付き三重項の欠如とリソース制限された環境への展開の困難という2つの大きな問題に悩まされている。 本稿では、VLモデルを利用して合成学習のためのラベルなし画像のみに依存する画像2Sentenceに基づく非対称ゼロショット合成画像検索(ISA)を提案する。
  論文  参考訳（メタデータ） (2024-03-03T07:58:03Z)
• VL-GPT: A Generative Pre-trained Transformer for Vision and Language Understanding and Generation [79.02357561313785]
  視覚・言語データの同時認識・生成に長けたトランスモデルであるVL-GPT(Vision-Language Generative Pre-Traited Transformer)を導入する。 VL-GPTは、直感的な自己回帰的目的を用いることで、画像とテキストのモダリティを統一した事前学習アプローチを実現する。
  論文  参考訳（メタデータ） (2023-12-14T18:59:43Z)
• Vision-by-Language for Training-Free Compositional Image Retrieval [78.60509831598745]
  合成画像検索(CIR)は、データベース内の関連する対象画像を検索することを目的としている。 大規模視覚言語モデル(VLM)を用いた最近の研究動向 我々は、CIReVL(Vision-by-Language)による学習自由なCIRへの取り組みを提案する。
  論文  参考訳（メタデータ） (2023-10-13T17:59:38Z)
• Levenshtein OCR [20.48454415635795]
  VLT(Vision-Language Transformer)に基づく新しいシーンテキスト認識器を提案する。 提案手法は,NLP領域のLevenshtein Transformerに触発されて,自然画像からテキストを自動的に書き起こす方法を提案する。
  論文  参考訳（メタデータ） (2022-09-08T06:46:50Z)
• Coarse-to-Fine Vision-Language Pre-training with Fusion in the Backbone [170.85076677740292]
  本稿では、視覚言語(VL)事前学習のための新しいモデルアーキテクチャであるFIBER(Fusion-In-the-Backbone-basedER)を提案する。 ユニモーダルバックボーンの後に、専用のトランスフォーマー層を融合させる代わりに、FIBERはマルチモーダルフュージョンをモデルに深く押し込む。 我々は、VQA、画像キャプション、検索、フレーズグラウンド、参照表現理解、オブジェクト検出など、幅広いVLタスクに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2022-06-15T16:41:29Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)
• Unsupervised Vision-and-Language Pre-training via Retrieval-based Multi-Granular Alignment [66.77841319057299]
  非並列テキストと画像のための教師なしビジョン・アンド・ランゲージ事前学習カリキュラムを提案する。 まず、検索に基づく手法を用いて、弱整列画像テキストコーパスを構築し、次に、複数粒状アライメントの事前学習タスクを適用する。 包括的なアブレーション研究は、それぞれの粒度がより強力な事前学習モデルを学ぶのに役立つことを示している。
  論文  参考訳（メタデータ） (2022-03-01T05:34:01Z)
• ROSITA: Enhancing Vision-and-Language Semantic Alignments via Cross- and Intra-modal Knowledge Integration [48.01536973731182]
  ROSITAと呼ばれる新しい視覚・言語事前学習手法を提案する。 クロスモーダルとイントラモーダルの知識を統合されたシーングラフに統合し、セマンティックアライメントを強化する。 ROSITAは6つのベンチマークデータセット上での3つの典型的な視覚・言語タスクにおいて、既存の最先端メソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2021-08-16T13:16:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。