論文の概要: TextCoT: Zoom In for Enhanced Multimodal Text-Rich Image Understanding

• arxiv url: http://arxiv.org/abs/2404.09797v1
• Date: Mon, 15 Apr 2024 13:54:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 22:07:08.324980
• Title: TextCoT: Zoom In for Enhanced Multimodal Text-Rich Image Understanding
• Title（参考訳）: TextCoT:マルチモーダルテキストリッチ画像理解のためのZoomイン
• Authors: Bozhi Luan, Hao Feng, Hong Chen, Yonghui Wang, Wengang Zhou, Houqiang Li,
• Abstract要約: 大規模マルチモーダルモデル(LMM)は、その顕著な推論能力を活用することを目的とした研究の急増を引き起こした。 テキストリッチな画像理解のための新しいChain-of-ThoughtフレームワークであるTextCoTを提案する。 私たちのメソッドは追加のトレーニングが不要で、即時プラグアンドプレイ機能を提供します。
• 参考スコア（独自算出の注目度）: 91.30065932213758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advent of Large Multimodal Models (LMMs) has sparked a surge in research aimed at harnessing their remarkable reasoning abilities. However, for understanding text-rich images, challenges persist in fully leveraging the potential of LMMs, and existing methods struggle with effectively processing high-resolution images. In this work, we propose TextCoT, a novel Chain-of-Thought framework for text-rich image understanding. TextCoT utilizes the captioning ability of LMMs to grasp the global context of the image and the grounding capability to examine local textual regions. This allows for the extraction of both global and local visual information, facilitating more accurate question-answering. Technically, TextCoT consists of three stages, including image overview, coarse localization, and fine-grained observation. The image overview stage provides a comprehensive understanding of the global scene information, and the coarse localization stage approximates the image area containing the answer based on the question asked. Then, integrating the obtained global image descriptions, the final stage further examines specific regions to provide accurate answers. Our method is free of extra training, offering immediate plug-and-play functionality. Extensive experiments are conducted on a series of text-rich image question-answering benchmark datasets based on several advanced LMMs, and the results demonstrate the effectiveness and strong generalization ability of our method. Code is available at https://github.com/bzluan/TextCoT.
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)の出現は、その顕著な推論能力を活用することを目的とした研究の急増を引き起こした。 しかし、テキストリッチな画像を理解するためには、LMMの可能性を十分に活用することが課題であり、既存の手法は高解像度画像を効果的に処理するのに苦労している。 本研究では,テキストリッチ画像理解のための新しいChain-of-ThoughtフレームワークであるTextCoTを提案する。 TextCoTは、LMMのキャプション機能を利用して画像のグローバルなコンテキストを把握し、グラウンド機能を使って局所的なテキスト領域を調べる。 これにより、グローバルとローカルの両方の視覚情報を抽出し、より正確な質問回答を容易にすることができる。 技術的には、TextCoTは画像概要、粗いローカライゼーション、きめ細かい観察を含む3つのステージで構成されている。 画像概要ステージは、グローバルシーン情報の総合的な理解を提供し、粗いローカライゼーションステージは、質問された質問に基づいて、回答を含む画像領域を近似する。 そして、得られたグローバルな画像記述を統合することで、最終段階はさらに特定の領域を調べ、正確な回答を提供する。 我々の方法は追加の訓練が不要で、即時プラグアンドプレイ機能を提供します。 複数の高度なLMMをベースとしたテキストリッチな画像質問答えベンチマークデータセットを用いて大規模な実験を行い、本手法の有効性と強力な一般化能力を実証した。 コードはhttps://github.com/bzluan/TextCoT.comで入手できる。

関連論文リスト

• Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks [62.758680527838436]
  Leopardは、複数のテキストリッチイメージを含む視覚言語タスクを扱うビジョン言語モデルである。 まず、テキストリッチでマルチイメージのシナリオに合わせて、約100万の高品質なマルチモーダル命令チューニングデータをキュレートした。 第2に,視覚列長の割り当てを動的に最適化する適応型高解像度マルチイメージ符号化モジュールを開発した。
  論文  参考訳（メタデータ） (2024-10-02T16:55:01Z)
• Zero-shot Text-guided Infinite Image Synthesis with LLM guidance [2.531998650341267]
  解像度とコンテキストの多様性を備えたテキストイメージのペアデータセットが不足している。 テキストに基づく画像の拡張には、グローバルコヒーレンスとリッチなローカルコンテキスト理解が必要である。 本稿では,大域的コヒーレンスと局所的文脈理解の両面において,Large Language Models (LLM) を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-17T15:10:01Z)
• ProGEO: Generating Prompts through Image-Text Contrastive Learning for Visual Geo-localization [0.0]
  そこで本稿では,視覚性能を向上させるための2段階学習手法を提案する。 提案手法の有効性を複数の大規模視覚的ジオローカライゼーションデータセットで検証する。
  論文  参考訳（メタデータ） (2024-06-04T02:28:51Z)
• mTREE: Multi-Level Text-Guided Representation End-to-End Learning for Whole Slide Image Analysis [16.472295458683696]
  マルチモーダル学習は視覚とテキストのデータを統合するが、その病理像やテキスト解析への応用は依然として困難である。 マルチレベルテキストガイド表現のエンド・ツー・エンド・ラーニング(mTREE)を導入する。 この新しいテキスト誘導アプローチは、テキスト病理情報からの情報を活用することで、WSI(Whole Slide Images)を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-05-28T04:47:44Z)
• Towards Improving Document Understanding: An Exploration on Text-Grounding via MLLMs [96.54224331778195]
  本稿では,画像中のテキストの空間的位置を識別し,MLLMを強化したテキストグラウンド文書理解モデルTGDocを提案する。 我々は,テキスト検出,認識,スポッティングなどの命令チューニングタスクを定式化し,視覚エンコーダと大言語モデルとの密接なアライメントを容易にする。 提案手法は,複数のテキストリッチベンチマークにまたがる最先端性能を実現し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-11-22T06:46:37Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• HGAN: Hierarchical Graph Alignment Network for Image-Text Retrieval [13.061063817876336]
  画像テキスト検索のための階層型グラフアライメントネットワーク(HGAN)を提案する。 まず、包括的マルチモーダル特徴を捉えるために、画像の特徴グラフとテキストのモダリティをそれぞれ構築する。 そして、MFAR(Multi-granularity Feature Aggregation and Rearrangement)モジュールを設計した多粒性共有空間を構築する。 最後に、最終的な画像とテキストの特徴は、階層的アライメントを達成するために、3レベル類似関数によってさらに洗練される。
  論文  参考訳（メタデータ） (2022-12-16T05:08:52Z)
• Image-Specific Information Suppression and Implicit Local Alignment for Text-based Person Search [61.24539128142504]
  テキストベースの人物検索(TBPS)は,問合せテキストが与えられた画像ギャラリーから同一の身元で歩行者画像を検索することを目的とした課題である。 既存の手法の多くは、モダリティ間の微粒な対応をモデル化するために、明示的に生成された局所的な部分に依存している。 TBPSのためのマルチレベルアライメントネットワーク(MANet)を提案する。
  論文  参考訳（メタデータ） (2022-08-30T16:14:18Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。