論文の概要: Advancing MLLM-based UAV Image Understanding and Reasoning: A Benchmark and a Training-Free Multi-Agent System
- arxiv url: http://arxiv.org/abs/2608.11738v1
- Date: Wed, 12 Aug 2026 07:25:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.488717
- Title: Advancing MLLM-based UAV Image Understanding and Reasoning: A Benchmark and a Training-Free Multi-Agent System
- Title（参考訳）: MLLMに基づくUAV画像理解と推論の促進:ベンチマークと学習不要なマルチエージェントシステム
- Abstract要約: UAV-MAS(UAV-MAS)は、MLLMをベースとしたUAV空中画像の理解と推論のための訓練用マルチエージェントシステムである。
UAVQA-Benchでは77.0%の精度でGemini 3 Proを4.0%上回り、8Bはベースモデルよりも8.7%改善している。
- 参考スコア（独自算出の注目度）: 21.596261657771
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Large Language Model (MLLM)-based UAV aerial image understanding and reasoning is essential for aerial intelligence yet poses distinct challenges arising from extreme scale variation, arbitrary camera orientations, and high object density. Despite growing interest, existing evaluations remain fragmented across individual datasets and narrow tasks, leaving a critical gap in unified assessment of UAV understanding and reasoning capabilities. To fill this gap, we construct UAVQA-Bench, a benchmark of 1,500 human-annotated QA pairs drawn from 13 public UAV datasets, covering 6 capability dimensions and 16 tasks in both multiple-choice and visual grounding formats. Systematic evaluation of a broad range of open-source and closed-source MLLMs as well as agent-based systems on UAVQA-Bench identifies three key failure modes: domain-toolset mismatch, unchecked error propagation, and static reasoning. Motivated by these findings, we propose UAV-MAS, a training-free multi-agent system for MLLM-based UAV aerial image understanding and reasoning, comprising a Domain-Specific Perception Engine (DSPE) that routes queries to task-appropriate visual tools, a Context-Aware Iterative Refinement module (CAIR) that validates intermediate reasoning to curb error accumulation, and a Difficulty-Aware Adaptive Search mechanism (DAAS) that adjusts search depth to question difficulty. UAV-MAS with a 32B open-source MLLM achieves 77.0% overall accuracy on UAVQA-Bench, surpassing Gemini 3 Pro by 4.0\%, while the 8B variant improves 8.7\% over its base model.
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)に基づくUAV空中画像の理解と推論は、航空情報にとって不可欠であるが、極端なスケールの変動、任意のカメラの向き、高い物体密度から生じる異なる課題を提起する。
関心が高まっているにもかかわらず、既存の評価は個々のデータセットと狭いタスクで断片化され続けており、UAV理解と推論能力の統一評価において重要なギャップを残している。
このギャップを埋めるために、UAVQA-Benchという、13のパブリックUAVデータセットから抽出された1500の人間アノテーション付きQAペアのベンチマークを構築し、複数の選択と視覚的グラウンドディングフォーマットの6つの機能ディメンションと16のタスクをカバーした。
UAVQA-Bench上のエージェントベースシステムと同様に、幅広いオープンソースおよびクローズドソースMLLMの体系的評価では、ドメイン-ツールセットミスマッチ、未チェックエラー伝搬、静的推論の3つの重要な障害モードが特定されている。
これらの結果から,MLLMをベースとしたUAV空中画像理解・推論のためのトレーニングフリーマルチエージェントシステムであるUAV-MASを提案する。クエリをタスクに適したビジュアルツールにルーティングするDomain-Specific Perception Engine (DSPE)と,エラーの蓄積を抑制するための中間的推論を検証するContext-Aware Iterative Refinement Module (CAIR)と,検索深度を問題なく調整するDifficulty-Aware Adaptive Search Mechanism (DAAS)である。
32BのオープンソースMLLMを持つUAV-MASは、UAVQA-Benchで77.0%の精度を達成し、Gemini 3 Proを4.0倍上回った。
関連論文リスト
- Multimodal Model Diffing for Feature Discovery and Control [25.349396112139214]
MMDiffは,スパースオートエンコーダをマルチモーダル動作の検出と制御のための機能レベルインターフェースに変換するフレームワークである。
我々は,LLaVA-MORE,PaliGemma 2,InternVL3.5の3つのMLLMファミリーに対して多モードSAEを訓練し,視覚空間理解,マルチモーダル安全性,OCRを評価した。
論文 参考訳（メタデータ） (2026-08-10T17:59:30Z) - MultiUAV-Plat: An LLM-Oriented Platform, Benchmark and Framework for Multi-UAV Collaborative Task Planning [4.712457848623237]
大規模言語モデル(LLM)は、ハイレベルなロボットタスク計画のための有望なインターフェースを提供する。
既存のUAVシミュレータは主に力学、知覚、低レベル制御に重点を置いている。
既存のLLMエージェントは、部分観測性のような空中ロボティクスの制約をほとんど捉えない。
マルチUAVタスク計画のための軽量で使いやすいシミュレーションプラットフォームであるMultiUAV-Platを提案する。
論文 参考訳（メタデータ） (2026-06-30T03:02:12Z) - SpatialUAV: Benchmarking Spatial Intelligence for Low-Altitude UAV Perception, Collaboration, and Motion [76.8430169655641]
空間知能は、低高度無人航空機(UAV)の認識、協調、航行に不可欠である。
本研究では,実際の低高度UAVベンチマークであるSpatialUAVを紹介した。
現状のモデルは, クロスビュー・アソシエーション, 構造的グラウンドリング, 幾何学的推論, 時間的視点理解において, 明らかなボトルネックを伴って, 人間のレベル・パフォーマンスから遠ざかっていることを示す。
論文 参考訳（メタデータ） (2026-06-26T09:16:55Z) - PixDLM: A Dual-Path Multimodal Language Model for UAV Reasoning Segmentation [71.53011159355401]
推論セグメンテーションは地上のシーンからリモートセンシング画像へと拡張されているが、UAVデータは異なる課題を提起している。
UAV推論タスクを定義し,そのセマンティック要件を3次元(空間,属性,シーンレベルの推論)に整理する。
DRSegはUAV推論セグメンテーションのための大規模ベンチマークであり、Chain-of-Thought QA監督と組み合わせた10kの高解像度空中画像を含む。
論文 参考訳（メタデータ） (2026-04-17T03:48:56Z) - M3-AD: Reflection-aware Multi-modal, Multi-category, and Multi-dimensional Benchmark and Framework for Industrial Anomaly Detection [87.27067827385599]
M3-ADは産業的異常検出のための統合リフレクション対応フレームワークである。
RA-Monitorは、初期判断が信頼できない場合に、制御された自己補正を行うようにモデルをガイドする。
論文 参考訳（メタデータ） (2026-02-10T07:20:19Z) - MM-UAVBench: How Well Do Multimodal Large Language Models See, Think, and Plan in Low-Altitude UAV Scenarios? [35.75859316774549]
MM-UAVBenchは、3つの中核機能次元(知覚、認知、低高度UAVシナリオ)にわたるMLLMを体系的に評価する総合的なベンチマークである。
MM-UAVBenchは19のサブタスクと5.7K以上の注釈付き質問で構成され、いずれも公開データセットから収集された実際のUAVデータに由来する。
我々の実験によると、現在のモデルは、低高度シナリオの複雑な視覚的および認知的要求に適応するのに苦労している。
論文 参考訳（メタデータ） (2025-12-29T05:49:54Z) - AerialMind: Towards Referring Multi-Object Tracking in UAV Scenarios [64.51320327698231]
UAVシナリオにおける最初の大規模RMOTベンチマークであるAerialMindを紹介する。
我々は、革新的な半自動協調型エージェントベースラベリングアシスタントフレームワークを開発した。
また,視覚言語表現学習を協調的に強化する新しい手法であるHawkEyeTrackを提案する。
論文 参考訳（メタデータ） (2025-11-26T04:44:27Z) - A Tri-Modal Dataset and a Baseline System for Tracking Unmanned Aerial Vehicles [74.8162337823142]
MM-UAVはMulti-Modal UAV Trackingの最初の大規模ベンチマークである。
データセットは30以上の挑戦的なシナリオにまたがっており、1,321の同期マルチモーダルシーケンスと280万以上の注釈付きフレームがある。
データセットを伴って、我々は新しいマルチモーダルマルチUAV追跡フレームワークを提供する。
論文 参考訳（メタデータ） (2025-11-23T08:42:17Z) - UAVBench: An Open Benchmark Dataset for Autonomous and Agentic AI UAV Systems via LLM-Generated Flight Scenarios [3.099103925863002]
UAVBenchは、大規模言語モデル(LLM)によって生成されたUAV飛行シナリオのオープンベンチマークベンチマークである。
UAVBench_MCQは,10の認知的・倫理的推論スタイルにまたがる5万の多重選択質問を含む推論指向の拡張である。
GPT-5, ChatGPT-4o, Gemini 2.5 Flash, DeepSeek V3, Q3wenwenB, ERNIE 4.5 300B を含む32 の最先端 LLM を評価し, 認識・政策推論において高い性能を示した。
論文 参考訳（メタデータ） (2025-11-14T12:51:48Z) - Agentic UAVs: LLM-Driven Autonomy with Integrated Tool-Calling and Cognitive Reasoning [3.4643961367503575]
既存のUAVフレームワークには、コンテキスト対応の推論、自律的な意思決定、エコシステムレベルの統合が欠けている。
本稿では,5層アーキテクチャであるエージェントUAVフレームワークを紹介する(知覚,推論,アクション,統合,学習)。
ROS2 と Gazebo ベースのプロトタイプは YOLOv11 オブジェクト検出と GPT-4 推論とローカル Gemma-3 デプロイメントを統合している。
論文 参考訳（メタデータ） (2025-09-14T08:46:40Z) - Unlearning Sensitive Information in Multimodal LLMs: Benchmark and Attack-Defense Evaluation [88.78166077081912]
我々は、MLLMから特定のマルチモーダル知識を削除する方法を評価するために、マルチモーダル・アンラーニング・ベンチマークUnLOK-VQAとアタック・アンド・ディフェンス・フレームワークを導入する。
その結果,マルチモーダル攻撃はテキストや画像のみの攻撃よりも優れており,最も効果的な防御は内部モデル状態から解答情報を除去することを示した。
論文 参考訳（メタデータ） (2025-05-01T01:54:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。