論文の概要: What Large Language Models Bring to Text-rich VQA?

• arxiv url: http://arxiv.org/abs/2311.07306v1
• Date: Mon, 13 Nov 2023 12:52:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 14:24:31.935766
• Title: What Large Language Models Bring to Text-rich VQA?
• Title（参考訳）: テキストリッチVQAにどのような大きな言語モデルをもたらすか?
• Authors: Xuejing Liu, Wei Tang, Xinzhe Ni, Jinghui Lu, Rui Zhao, Zechao Li and Fei Tan
• Abstract要約: テキストリッチVQA(英: Text-rich VQA)は、画像中のテキスト認識に基づく視覚的質問応答(Visual Question Answering)であり、画像の理解とテキスト認識の両方を必要とする。 上記の懸念に対処するために、外部のOCRモデルを用いて画像中のテキストを認識し、Large Language Models (LLMs) を用いて質問に答える。 このパイプラインは、既存のMLLM(Multimodal Large Language Models)の4つのテキストリッチなVQAデータセットと比較して、優れたパフォーマンスを実現した。
• 参考スコア（独自算出の注目度）: 38.569505870771025
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Text-rich VQA, namely Visual Question Answering based on text recognition in the images, is a cross-modal task that requires both image comprehension and text recognition. In this work, we focus on investigating the advantages and bottlenecks of LLM-based approaches in addressing this problem. To address the above concern, we separate the vision and language modules, where we leverage external OCR models to recognize texts in the image and Large Language Models (LLMs) to answer the question given texts. The whole framework is training-free benefiting from the in-context ability of LLMs. This pipeline achieved superior performance compared to the majority of existing Multimodal Large Language Models (MLLM) on four text-rich VQA datasets. Besides, based on the ablation study, we find that LLM brings stronger comprehension ability and may introduce helpful knowledge for the VQA problem. The bottleneck for LLM to address text-rich VQA problems may primarily lie in visual part. We also combine the OCR module with MLLMs and pleasantly find that the combination of OCR module with MLLM also works. It's worth noting that not all MLLMs can comprehend the OCR information, which provides insights into how to train an MLLM that preserves the abilities of LLM.
• Abstract（参考訳）: テキストリッチなVQA、すなわち画像中のテキスト認識に基づくビジュアル質問回答は、画像理解とテキスト認識の両方を必要とする横断的なタスクである。 本研究では,この問題に対処するLLMベースのアプローチの利点とボトルネックについて検討する。 上記の懸念に対処するため、我々は視覚と言語モジュールを分離し、外部のOCRモデルを利用して画像中のテキストを認識し、Large Language Models (LLMs) で与えられたテキストに答える。 フレームワーク全体が、LLMのコンテキスト内能力の恩恵を受けることなくトレーニングできる。 このパイプラインは、既存のMLLM(Multimodal Large Language Models)の4つのテキストリッチVQAデータセットと比較して、優れたパフォーマンスを実現した。 また, アブレーション研究から, LLMはより強力な理解能力をもたらし, VQA問題に有用な知識をもたらす可能性が示唆された。 LLMがテキストリッチなVQA問題に対処するボトルネックは主に視覚的部分にあるかもしれない。 また,OCRモジュールとMLLMを組み合わせることで,OCRモジュールとMLLMの組み合わせも有効であることがわかった。 すべてのmllmがocr情報を理解できるわけではないので、llmの能力を維持するmllmのトレーニング方法についての洞察が得られます。

関連論文リスト

• MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
  本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。 オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。 我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
  論文  参考訳（メタデータ） (2024-10-16T07:52:57Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• MATE: Meet At The Embedding -- Connecting Images with Long Texts [37.27283238166393]
  Meet At The Embedding (MATE)は、大型言語モデル(LLM)とビジョン言語モデル(VLM)の機能を組み合わせた、新しいアプローチである。 我々は、VLMのテキストエンコーダを、長文の理解に優れたLLMベースのエンコーダに置き換える。 画像と長いテキストを接続するタスクを評価するために,2つの新たなクロスモーダル検索ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-06-26T14:10:00Z)
• Video Understanding with Large Language Models: A Survey [97.29126722004949]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)
• MLLMs-Augmented Visual-Language Representation Learning [70.5293060238008]
  MLLM(Multi-modal Large Language Models)が視覚言語表現学習を向上させることを実証した。 本手法は単純で,MLLMを用いて画像毎に複数のキャプションを拡張できる。 拡張キャプションの品質と可用性を維持するために,テキストシーリングを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:05:52Z)
• Filling the Image Information Gap for VQA: Prompting Large Language Models to Proactively Ask Questions [15.262736501208467]
  大規模言語モデル(LLM)は、驚くべき推論能力と世界知識の維持を実証する。 画像がLLMに見えないため、研究者は画像からテキストに変換してLLMを視覚的疑問推論の手順に変換する。 我々は、LLMが積極的に関連する質問をし、画像のより詳細な情報を公開できるフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-20T08:23:39Z)
• MMICL: Empowering Vision-language Model with Multi-Modal In-Context Learning [42.68425777473114]
  大規模言語モデル(LLM)によって強化された視覚言語モデル(VLM)は、急速に人気が高まっている。 マルチモーダル・インコンテキスト・ラーニング(MMICL)を用いた視覚言語モデルを導入し,VLMがマルチモーダル入力を効率的に処理できるようにする。 実験により,MMICLは多種多様な視覚言語タスクにおいて,最先端のゼロショット性能を実現することを確認した。
  論文  参考訳（メタデータ） (2023-09-14T17:59:17Z)
• LibriSQA: A Novel Dataset and Framework for Spoken Question Answering with Large Language Models [21.95962189710859]
  本稿では,LibriSQAデータセット上でSpoken Question Answering(SQA)タスクを実行するための軽量なエンドツーエンドフレームワークを提案する。 ASRをSQAフォーマットに書き換えることで、ASRタスクの処理におけるフレームワークの機能をさらに裏付ける。 我々の経験的発見は、多モーダル情報の整合と解釈に対するLLMの適性を高め、ユニバーサル多モーダルLLMの開発への道を開いた。
  論文  参考訳（メタデータ） (2023-08-20T23:47:23Z)
• From Images to Textual Prompts: Zero-shot VQA with Frozen Large Language Models [111.42052290293965]
  大規模言語モデル(LLM)は、新しい言語タスクに対して優れたゼロショット一般化を証明している。 視覚と言語データに対するエンドツーエンドのトレーニングは、切断を橋渡しするかもしれないが、柔軟性がなく、計算コストがかかる。 上述したモダリティとタスクの切断をブリッジできるプロンプトを提供するプラグイン・アンド・プレイモジュールであるemphImg2Promptを提案する。
  論文  参考訳（メタデータ） (2022-12-21T08:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。