論文の概要: Enhanced Multimodal RAG-LLM for Accurate Visual Question Answering

• arxiv url: http://arxiv.org/abs/2412.20927v1
• Date: Mon, 30 Dec 2024 13:16:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:06:00.488442
• Title: Enhanced Multimodal RAG-LLM for Accurate Visual Question Answering
• Title（参考訳）: 視覚的質問応答の精度向上のためのマルチモーダルRAG-LLM
• Authors: Junxiao Xue, Quan Deng, Fei Yu, Yanhao Wang, Jun Wang, Yuehua Li,
• Abstract要約: MLLM(Multimodal large language model)は、視覚とテキストのモダリティの統合において大きな進歩を遂げた。 マルチモーダル検索拡張生成(RAG)に基づく新しいフレームワークを提案する。 RAGは、画像内のオブジェクト認識、関係識別、空間的理解を強化するために構造化されたシーングラフを導入している。
• 参考スコア（独自算出の注目度）: 10.505845766495128
• License:
• Abstract: Multimodal large language models (MLLMs), such as GPT-4o, Gemini, LLaVA, and Flamingo, have made significant progress in integrating visual and textual modalities, excelling in tasks like visual question answering (VQA), image captioning, and content retrieval. They can generate coherent and contextually relevant descriptions of images. However, they still face challenges in accurately identifying and counting objects and determining their spatial locations, particularly in complex scenes with overlapping or small objects. To address these limitations, we propose a novel framework based on multimodal retrieval-augmented generation (RAG), which introduces structured scene graphs to enhance object recognition, relationship identification, and spatial understanding within images. Our framework improves the MLLM's capacity to handle tasks requiring precise visual descriptions, especially in scenarios with challenging perspectives, such as aerial views or scenes with dense object arrangements. Finally, we conduct extensive experiments on the VG-150 dataset that focuses on first-person visual understanding and the AUG dataset that involves aerial imagery. The results show that our approach consistently outperforms existing MLLMs in VQA tasks, which stands out in recognizing, localizing, and quantifying objects in different spatial contexts and provides more accurate visual descriptions.
• Abstract（参考訳）: GPT-4o、Gemini、LLaVA、Flamingoといったマルチモーダルな大言語モデル(MLLM)は、視覚的およびテキスト的モダリティの統合に大きく進歩し、視覚的質問応答(VQA)、画像キャプション、コンテンツ検索といったタスクに優れています。 画像のコヒーレントで文脈的に関連する記述を生成することができる。 しかし、それらはオブジェクトを正確に識別し、数え、空間的位置を決定すること、特に重複や小さなオブジェクトを持つ複雑なシーンにおいて、依然として課題に直面している。 これらの制約に対処するため,画像内のオブジェクト認識,関係識別,空間理解を向上する構造化シーングラフを導入した,マルチモーダル検索拡張生成(RAG)に基づく新しいフレームワークを提案する。 我々のフレームワークは、特に空中ビューや密集した物体配置のシーンといった難解な視点のシナリオにおいて、正確な視覚的記述を必要とするタスクを処理できるMLLMの能力を改善している。 最後に、一対一の視覚的理解に焦点を当てたVG-150データセットと、航空画像を含むAUGデータセットについて広範な実験を行う。 以上の結果から,VQAタスクにおける既存のMLLMの認識,局所化,定量化に際し,より正確な視覚的記述を提供する。

関連論文リスト

• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models [50.98559225639266]
  6つのタスクカテゴリにまたがる18のベンチマークを用いて,異なるエンコーダ層からの視覚的特徴の寄与について検討した。 この結果から,多層構造はタスク依存性の相補的な長所を提供し,均一な融合が最適以下の性能をもたらすことが明らかとなった。 テキスト命令に基づいて動的に多層視覚特徴を統合する命令誘導型視覚アグリゲータを提案する。
  論文  参考訳（メタデータ） (2024-12-26T05:41:31Z)
• RSUniVLM: A Unified Vision Language Model for Remote Sensing via Granularity-oriented Mixture of Experts [17.76606110070648]
  複数の粒度にまたがる包括的視覚理解のための統一型エンドツーエンドRS VLMであるRSUniVLMを提案する。 RSUniVLMは、変更検出や変更キャプションのインスタンスを含む、マルチイメージ解析において効果的に機能する。 また、RSと一般ドメインの両方の既存のデータセットに基づいて、大規模なRS命令追従データセットを構築した。
  論文  参考訳（メタデータ） (2024-12-07T15:11:21Z)
• FINECAPTION: Compositional Image Captioning Focusing on Wherever You Want at Any Granularity [68.15983300711355]
  Fine CapTIONは、任意のマスクを参照入力として認識し、異なるレベルの合成画像キャプションのための高解像度画像を処理する新しいVLMである。 本研究では,多粒領域合成画像キャプションのための新しいデータセットであるコンポジションCAPを紹介し,コンポジション属性対応地域画像キャプションの課題を紹介した。
  論文  参考訳（メタデータ） (2024-11-23T02:20:32Z)
• EAGLE: Towards Efficient Arbitrary Referring Visual Prompts Comprehension for Multimodal Large Language Models [80.00303150568696]
  本稿では,既存のアプローチよりもトレーニングの少ない任意の参照視覚的プロンプトの理解を促進するための,MLLM(Multimodal Large Language Models)を提案する。 本手法は,視覚的プロンプトを,MLLMに理解可能な特定の空間領域を伝達する空間概念として応用する。 我々はまた、MLLMの領域レベルの理解を視覚的プロンプトを参照する特定の形式にさらに引き離すための幾何非依存学習パラダイム(GAL)を提案する。
  論文  参考訳（メタデータ） (2024-09-25T08:22:00Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
  我々は、Draw-and-Understandプロジェクト、新しいモデル、マルチドメインデータセット、ビジュアルプロンプトのための挑戦的なベンチマークを紹介する。 具体的には、視覚エンコーダ、視覚プロンプトエンコーダ、LLMを接続する、エンド・ツー・エンドのマルチモーダル大規模言語モデル(MLLM)を提案する。 MLLMの視覚的プロンプト研究を進めるために,MDVP-DataとMDVP-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T16:26:20Z)
• Towards Grounded Visual Spatial Reasoning in Multi-Modal Vision Language Models [3.86170450233149]
  画像とテキストとのマッチングを訓練した大規模視覚言語モデル(VLM)では,空間的関係の微妙な理解が欠如していることが示されている。 本稿では,空間的節の認識とランク付けのための,よりきめ細かな構成的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-18T18:58:54Z)
• Multimodal Incremental Transformer with Visual Grounding for Visual Dialogue Generation [25.57530524167637]
  視覚的対話は、視覚環境を理解することに基づいて、一連の一貫性のある質問に答える必要がある。 ビジュアルグラウンドティングは、テキストエンティティによってガイドされたイメージ内の関連オブジェクトを明示的に特定することを目的としている。 マルチモーダルインクリメンタルトランスフォーマーは、対話の順序に応じてステップごとに、多ターン対話履歴と視覚シーンのステップとをエンコードし、コンテキスト的かつ視覚的に一貫性のある応答を生成する。
  論文  参考訳（メタデータ） (2021-09-17T11:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。