論文の概要: Visual Text Matters: Improving Text-KVQA with Visual Text Entity Knowledge-aware Large Multimodal Assistant

• arxiv url: http://arxiv.org/abs/2410.19144v1
• Date: Thu, 24 Oct 2024 20:25:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:38:23.030179
• Title: Visual Text Matters: Improving Text-KVQA with Visual Text Entity Knowledge-aware Large Multimodal Assistant
• Title（参考訳）: Visual Text Matters: Visual Text Entity Knowledge-aware Large Multimodal AssistantによるテキストKVQAの改善
• Authors: Abhirama Subramanyam Penamakuri, Anand Mishra,
• Abstract要約: 我々は、知識を意識したテキストベースの視覚的質問応答(Text-KVQA)を再考する。 ビジュアルテキストエンティティリンクを行うための原則的アプローチであるVisTELを提案する。 知識を意識した大規模マルチモーダルアシスタントKaLMAについて紹介する。
• 参考スコア（独自算出の注目度）: 2.1548552367634026
• License:
• Abstract: We revisit knowledge-aware text-based visual question answering, also known as Text-KVQA, in the light of modern advancements in large multimodal models (LMMs), and make the following contributions: (i) We propose VisTEL - a principled approach to perform visual text entity linking. The proposed VisTEL module harnesses a state-of-the-art visual text recognition engine and the power of a large multimodal model to jointly reason using textual and visual context obtained using surrounding cues in the image to link the visual text entity to the correct knowledge base entity. (ii) We present KaLMA - a knowledge-aware large multimodal assistant that augments an LMM with knowledge associated with visual text entity in the image to arrive at an accurate answer. Further, we provide a comprehensive experimental analysis and comparison of our approach with traditional visual question answering, pre-large multimodal models, and large multimodal models, as well as prior top-performing approaches. Averaging over three splits of Text-KVQA, our proposed approach surpasses the previous best approach by a substantial 23.3% on an absolute scale and establishes a new state of the art. We make our implementation publicly available.
• Abstract（参考訳）: 我々は,大規模マルチモーダルモデル(LMM)の現代的進歩に照らして,知識を意識したテキストベースの視覚的質問応答(Text-KVQA)を再考し,次のような貢献をする。 (i)視覚テキストエンティティリンクを行うための原則的アプローチであるVisTELを提案する。 提案したVisTELモジュールは、画像中の周囲の手がかりを用いて得られたテキストと視覚のコンテキストを用いて、最先端のビジュアルテキスト認識エンジンと大規模マルチモーダルモデルのパワーを利用して、ビジュアルテキストエンティティを正しい知識ベースエンティティにリンクする。 (II) 画像中の視覚的テキストエンティティに関する知識を付加してLMMを増強し, 正確な回答を得るための知識対応大規模マルチモーダルアシスタントであるKaLMAを提案する。 さらに, 従来の視覚的質問応答, 先行マルチモーダルモデル, 大規模マルチモーダルモデル, および先行トップパフォーミングアプローチとの比較を行った。 テキスト-KVQAの3つの分割を平均して、提案手法は、絶対的なスケールで23.3%の精度で従来のベストアプローチを超越し、新しい最先端技術を確立する。 実装を公開しています。

関連論文リスト

• LLaVA-Read: Enhancing Reading Ability of Multimodal Language Models [60.67899965748755]
  両ビジュアルエンコーダとビジュアルテキストエンコーダを併用したマルチモーダル大規模言語モデルであるLLaVA-Readを提案する。 我々の研究は、ビジュアルテキスト理解は依然としてオープンな課題であり、将来のマルチモーダルシステムにとって効率的なビジュアルテキストエンコーダが不可欠であることを示唆している。
  論文  参考訳（メタデータ） (2024-07-27T05:53:37Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• TRINS: Towards Multimodal Language Models that Can Read [61.17806538631744]
  TRINSはText-RichイメージINStructionデータセットである。 39,153の画像、キャプション、102,437の質問が含まれている。 本稿では,画像中のテキスト内容の理解に長けたLanguage-vision Reading Assistant(LaRA)を提案する。
  論文  参考訳（メタデータ） (2024-06-10T18:52:37Z)
• VISTA: Visualized Text Embedding For Universal Multi-Modal Retrieval [10.603148564713518]
  汎用マルチモーダル検索のための新しい埋め込みモデルVISTAを提案する。 画像理解機能を備えた強力なテキストエンコーダを拡張するフレキシブルアーキテクチャを導入する。 第2に,埋め込みモデルのトレーニングを容易にするために,高品質な合成画像テキストを提供する2つのデータ生成戦略を開発する。
  論文  参考訳（メタデータ） (2024-06-06T17:37:47Z)
• StrucTexTv3: An Efficient Vision-Language Model for Text-rich Image Perception, Comprehension, and Beyond [68.0107158115377]
  我々は、テキストリッチな画像のための様々なインテリジェントなタスクに取り組むために、効率的な視覚言語モデルStrucTexTv3を開発した。 学習を通してStrucTexTv3の知覚と理解能力を高める。 提案手法は,テキストに富んだ画像認識タスクでSOTAを達成し,理解タスクの性能を大幅に向上させた。
  論文  参考訳（メタデータ） (2024-05-31T16:55:04Z)
• Enhancing Vision Models for Text-Heavy Content Understanding and Interaction [0.0]
  画像エンコーディングのためのCLIPとMassive Text Embedding Benchmarkのモデルを統合したビジュアルチャットアプリケーションを構築した。 プロジェクトの目的は、複雑な視覚的テキストデータ相互接続データの理解において、先進視覚モデルの能力を高め、強化することである。
  論文  参考訳（メタデータ） (2024-05-31T15:17:47Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• A Multi-Modal Context Reasoning Approach for Conditional Inference on Joint Textual and Visual Clues [23.743431157431893]
  共同文と視覚的手がかりの条件推論は多モーダル推論タスクである。 我々はModCRというマルチモーダルコンテキスト推論手法を提案する。 2つの対応するデータセットに対して広範囲な実験を行い、実験結果により性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-05-08T08:05:40Z)
• Visually-Augmented Language Modeling [137.36789885105642]
  本稿では,言語モデリングのための関連画像を含むテキストトークンを視覚的に拡張する,VaLMという新しい事前学習フレームワークを提案する。 視覚的に拡張されたコンテキストでは、VaLMは視覚知識融合層を使用してマルチモーダル基底言語モデリングを可能にする。 視覚情報を必要とする多モーダル・コモンセンス推論タスクについて,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-05-20T13:41:12Z)
• UniMS: A Unified Framework for Multimodal Summarization with Knowledge Distillation [43.15662489492694]
  本稿では,BART,UniMSに基づくマルチモーダル要約のための統一フレームワークを提案する。 我々は、画像選択を改善するために、視覚言語事前学習モデルから知識蒸留を採用する。 我々の最良のモデルは、大規模ベンチマークデータセットで新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T09:36:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。