論文の概要: AeroRAG: Structured Multimodal Retrieval-Augmented LLM for Fine-Grained Aerial Visual Reasoning

• arxiv url: http://arxiv.org/abs/2604.17889v1
• Date: Mon, 20 Apr 2026 07:02:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.740831
• Title: AeroRAG: Structured Multimodal Retrieval-Augmented LLM for Fine-Grained Aerial Visual Reasoning
• Title（参考訳）: AeroRAG:細粒化空中画像再生のための構造化多モード検索型LLM
• Authors: Junxiao Xue, Quan Deng, Tingqi Hu, Meicong Si, Xinyi Yin, Yunyun Shi, Xuecheng Wu,
• Abstract要約: 本稿では,視覚的質問応答のためのシーングラフ誘導多モーダル検索拡張生成フレームワークであるAeroRAGを提案する。 このフレームワークはまず、入力画像からオブジェクトカテゴリ、量、意味的関係を含む構造化された視覚的知識に変換する。 その後、クエリ関連セマンティックチャンクを取得し、テキストベースの大規模言語モデルのためのコンパクトなプロンプトを構築する。
• 参考スコア（独自算出の注目度）: 2.9055098900305634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent progress in multimodal large language models (MLLMs), reliable visual question answering in aerial scenes remains challenging. In such scenes, task-critical evidence is often carried by small objects, explicit quantities, coarse locations, and inter-object relations, whereas conventional dense visual-token representations are not well aligned with these structured semantics. To address this interface mismatch, we propose AeroRAG, a scene-graph-guided multimodal retrieval-augmented generation framework for visual question answering. The framework first converts an input image into structured visual knowledge, including object categories, quantities, spatial locations, and semantic relations, and then retrieves query-relevant semantic chunks to construct compact prompts for a text-based large language model. Rather than relying on direct reasoning over dense visual tokens, our method introduces a more explicit intermediate interface between perception and language reasoning. Experiments on the AUG aerial dataset and the general-domain VG-150 benchmark show consistent improvements over six strong MLLM baselines, with the largest gains observed in dense aerial scenes and relation-sensitive reasoning. We further evaluate the framework on VQAv2 to verify that the proposed interface remains compatible with standard visual reasoning settings. These results suggest that structured retrieval is a practical design direction for deployment-oriented and grounded visual reasoning systems.
• Abstract（参考訳）: 近年のマルチモーダル大言語モデル (MLLM) の進歩にもかかわらず, 航空シーンにおける信頼性の高い視覚的質問応答はいまだに困難である。 このような場面では、タスククリティカルな証拠は、しばしば小さな対象、明示的な量、粗い位置、オブジェクト間の関係によって運ばれる。 このインタフェースのミスマッチに対処するために,視覚的質問応答のためのシーングラフ誘導マルチモーダル検索拡張生成フレームワークであるAeroRAGを提案する。 このフレームワークは、まず、入力画像をオブジェクトカテゴリ、量、空間位置、意味関係を含む構造化された視覚知識に変換し、次いでクエリ関連セマンティックチャンクを取得し、テキストベースの大規模言語モデルのためのコンパクトなプロンプトを構築する。 本手法は,高密度な視覚的トークンを直接推論するのではなく,知覚と言語推論の間により明確な中間インタフェースを導入する。 AUGの空中データセットと一般ドメインのVG-150ベンチマークの実験では、6つの強力なMLLMベースラインよりも一貫した改善が見られた。 さらに、VQAv2のフレームワークを評価し、提案したインタフェースが標準的な視覚的推論設定と互換性があることを確認する。 これらの結果から, 構造化検索は, 配置指向型, 接地型視覚推論システムにおいて, 実用的な設計方向であることが示唆された。

関連論文リスト

• GaLa: Hypergraph-Guided Visual Language Models for Procedural Planning [14.265218749993956]
  オブジェクト属性に符号化された暗黙的な空間関係と深い意味構造は、具体化されたAIシステムにおける手続き的計画に不可欠である。 マルチモーダルな手続き計画のための視覚言語フレームワークであるGaLaを提案する。 GaLaは,実行成功率,LCS,計画正当性において,既存手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2026-04-19T04:04:02Z)
• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• A Multimodal Depth-Aware Method For Embodied Reference Understanding [56.30142869506262]
  Embodied Reference Understandingでは、言語命令とポインティングキューの両方に基づいて、視覚的なシーンで対象のオブジェクトを識別する必要がある。 本稿では,データ拡張,深度マップのモダリティ,深度認識決定モジュールを共同で活用する新しいERUフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-09T14:32:21Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• Enhanced Multimodal RAG-LLM for Accurate Visual Question Answering [10.505845766495128]
  MLLM(Multimodal large language model)は、視覚とテキストのモダリティの統合において大きな進歩を遂げた。 マルチモーダル検索拡張生成(RAG)に基づく新しいフレームワークを提案する。 RAGは、画像内のオブジェクト認識、関係識別、空間的理解を強化するために構造化されたシーングラフを導入している。
  論文  参考訳（メタデータ） (2024-12-30T13:16:08Z)
• Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
  OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。 我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。 クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
  論文  参考訳（メタデータ） (2023-11-19T06:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。