論文の概要: Knowing the Self, Understanding the World: A Dual-Cognition Benchmark for UAV Spatio-temporal Reasoning with MLLMs
- arxiv url: http://arxiv.org/abs/2607.16193v1
- Date: Fri, 17 Jul 2026 17:59:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.9322
- Title: Knowing the Self, Understanding the World: A Dual-Cognition Benchmark for UAV Spatio-temporal Reasoning with MLLMs
- Title（参考訳）: 自己を知る, 世界を理解する: MLLMを用いたUAV時空間推論のための二重認知ベンチマーク
- Abstract要約: UAV-DualCogは、空中多視点時間推論のベンチマークである。
これには、自己状態推論と環境状態推論を共同で評価する、イメージタスクとビデオタスクの両方が含まれる。
シーンレベルのセマンティックポイントクラウドからデータを構築する自動パイプラインを開発する。
- 参考スコア（独自算出の注目度）: 7.12453173642075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models have achieved strong performance across diverse vision-language tasks, yet their capabilities in UAV scenarios remain insufficiently explored. Recent UAV-oriented benchmarks have begun to evaluate MLLMs in aerial scenarios, but they typically focus on scene understanding, event recognition, or navigation completion, rather than jointly assessing the dual-cognition capability required for UAV agents: reasoning about both the UAV's own state and the external environment in multiview spatio-temporal contexts. To address this gap, we present UAV-DualCog, a benchmark for aerial multiview spatio-temporal reasoning built on this dual-cognition perspective. UAV-DualCog includes both image and video tasks to jointly evaluate self-state and environment-state reasoning, while requiring spatial or temporal grounding beyond discrete answer prediction. We also develop an automated pipeline that constructs data from scene-level semantic point clouds, yielding a scalable benchmark with diverse scenes, hundreds of landmarks, and thousands of QA samples. Extensive evaluations show that current MLLMs remain far from reliable in UAV dual cognition. Self-state reasoning, viewpoint transformation, precise spatial grounding, and temporal interval localization are persistent bottlenecks, and additional validation with thinking/frontier models and a human baseline confirms that the benchmark is understandable to humans but challenging for existing models. We further construct UAV-DualCog-Train from disjoint scenes and show through a lightweight optimization probe that it provides useful structured supervision, suggesting its value not only as an evaluation benchmark but also as a data resource for advancing MLLM-based UAV agents. Project website and supplementary materials: https://uav-dualcog.lozumi.com
- Abstract（参考訳）: マルチモーダルな大規模言語モデルは様々な視覚言語タスクにまたがって高い性能を達成しているが、UAVシナリオにおけるそれらの能力はいまだに十分に調査されていない。
近年のUAV指向のベンチマークでは、MLLMを空中シナリオで評価し始めているが、一般的には、UAVエージェントに必要な二重認識能力(UAV自身の状態と外部環境の両方をマルチビュー時空間で推論する)を共同で評価するのではなく、シーン理解、イベント認識、ナビゲーション完了に焦点を当てている。
このギャップに対処するために、この双対認識の観点から構築された空中多視点時空間推論のベンチマークであるUAV-DualCogを提案する。
UAV-DualCogには、自己状態と環境状態の推論を共同で評価するイメージタスクとビデオタスクの両方が含まれている。
また、シーンレベルのセマンティックポイントクラウドからデータを構築する自動パイプラインを開発し、多様なシーン、数百のランドマーク、数千のQAサンプルを備えたスケーラブルなベンチマークを提供します。
大規模な評価の結果、現在のMLLMはUAV二重認識では信頼性に欠けていた。
自己状態推論、視点変換、正確な空間的接地、時間的間隔の局所化は永続的なボトルネックであり、思考/フロンティアモデルと人間のベースラインによるさらなる検証により、ベンチマークが人間には理解できるが既存のモデルには挑戦的であることを確認した。
さらに、分離されたシーンからUAV-DualCog-Trainを構築し、軽量な最適化プローブを通して、評価ベンチマークだけでなく、MLLMベースのUAVエージェントを前進させるためのデータリソースとしての価値も示唆する。
プロジェクトウェブサイトと補足資料:https://uav-dualcog.lozumi.com
関連論文リスト
- SpatialUAV: Benchmarking Spatial Intelligence for Low-Altitude UAV Perception, Collaboration, and Motion [76.8430169655641]
空間知能は、低高度無人航空機(UAV)の認識、協調、航行に不可欠である。
本研究では,実際の低高度UAVベンチマークであるSpatialUAVを紹介した。
現状のモデルは, クロスビュー・アソシエーション, 構造的グラウンドリング, 幾何学的推論, 時間的視点理解において, 明らかなボトルネックを伴って, 人間のレベル・パフォーマンスから遠ざかっていることを示す。
論文 参考訳（メタデータ） (2026-06-26T09:16:55Z) - DRIVESPATIAL: A Benchmark for Spatiotemporal Intelligence in VLMs for Autonomous Driving [15.87281823665284]
DriveSpatialは、5つの大規模自律運転データセットから20タスクにわたる15.6Kの検証済みQAペアのベンチマークである。
以前のベンチマークとは異なり、DriveSpatialはオブジェクトの状態、空間的関係、インタラクション、カメラの可視性、時間的対応をエンコードする動的多言語シーングラフから生成される。
最強のモデルは人間を28.4ポイント追尾し、認知シーン構築が重要なボトルネックとなる。
論文 参考訳（メタデータ） (2026-05-22T02:52:06Z) - UAVReason: A Unified, Large-Scale Benchmark for Multimodal Aerial Scene Reasoning and Generation [22.090256033688124]
UAVReasonは,Nadir-view UAVシナリオ専用の,最初の大規模マルチモーダルベンチマークである。
273K以上のVQA(Visual Question Answering)ペアを統合し、詳細なキャプションを持つ23.6Kのシングルフレーム、68.2Kの2フレームの時間シーケンス、および188.8Kのクロスモーダル生成サンプルを含む。
ベンチマークでは、空間的および時間的軸にわたる22種類の推論タイプを調査し、同時にRGB、深さ、セグメンテーションのモダリティにわたる高忠実度生成を評価した。
論文 参考訳（メタデータ） (2026-04-07T03:23:30Z) - AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild [62.47761809929869]
視覚言語ナビゲーション(VLN)は、視覚的観察とともに言語指示を解釈することで、知的エージェントが環境をナビゲートする必要がある。
無人航空機(UAV)の現在のVLN研究は、所定のルートに沿ってUAVを誘導するための詳細な指示に依存している。
本稿では,自律型UAVナビゲーションのためのエンド・ツー・エンドのビジョン・ランゲージ・アクションモデルであるAutoFlyを提案する。
論文 参考訳（メタデータ） (2026-02-10T11:08:07Z) - How Far are Modern Trackers from UAV-Anti-UAV? A Million-Scale Benchmark and New Baseline [74.4054700050366]
無人航空機(UAV)は広範囲のアプリケーションを提供するが、安全性とプライバシー侵害のリスクも大きい。
現在の反UAV研究は、主に固定地上カメラで撮影したRGB、赤外線(IR)、またはRGB-IRビデオに焦点を当てている。
本稿では,UAV-Anti-UAVと呼ばれるマルチモーダル視覚追跡タスクを提案する。
論文 参考訳（メタデータ） (2025-12-08T10:19:54Z) - AerialMind: Towards Referring Multi-Object Tracking in UAV Scenarios [64.51320327698231]
UAVシナリオにおける最初の大規模RMOTベンチマークであるAerialMindを紹介する。
我々は、革新的な半自動協調型エージェントベースラベリングアシスタントフレームワークを開発した。
また,視覚言語表現学習を協調的に強化する新しい手法であるHawkEyeTrackを提案する。
論文 参考訳（メタデータ） (2025-11-26T04:44:27Z) - Is your VLM Sky-Ready? A Comprehensive Spatial Intelligence Benchmark for UAV Navigation [38.19842131198389]
VLM(Vision-Language Models)はその強力な視覚認識と推論能力を活用し、無人航空機(UAV)のタスクに広く応用されている。
しかし、UAVシナリオにおける既存のVLMの空間的知能能力は、まだほとんど解明されていない。
本稿では,UAVナビゲーションにおけるVLMの空間的インテリジェンス能力を評価するためのベンチマークであるSpatialSky-Benchを紹介する。
論文 参考訳（メタデータ） (2025-11-17T11:39:20Z) - Tracking the Unstable: Appearance-Guided Motion Modeling for Robust Multi-Object Tracking in UAV-Captured Videos [58.156141601478794]
マルチオブジェクトトラッキング(UAVT)は、ビデオのフレーム間で一貫したアイデンティティを維持しながら、複数のオブジェクトを追跡することを目的としている。
既存の手法は、通常、動作キューと外観を別々にモデル化し、それらの相互作用を見渡して、最適下追跡性能をもたらす。
本稿では、AMC行列とMTCモジュールの2つの主要コンポーネントを通して、外観と動きの手がかりを利用するAMOTを提案する。
論文 参考訳（メタデータ） (2025-08-03T12:06:47Z) - UAV-CodeAgents: Scalable UAV Mission Planning via Multi-Agent ReAct and Vision-Language Reasoning [2.0094541584885426]
自律型UAVミッション生成のためのスケーラブルなマルチエージェントフレームワークであるUAV-CodeAgentsを提案する。
コアコンポーネントは、空の地図上のセマンティックターゲットの正確な位置決めを可能にする、視覚的に座屈したピクセルポインティング機構である。
より低い復号温度(0.5)は、平均ミッション作成時間96.96秒、成功率93%で、高い計画信頼性と実行時間の短縮をもたらすことを示す。
論文 参考訳（メタデータ） (2025-05-12T05:23:51Z) - More Clear, More Flexible, More Precise: A Comprehensive Oriented Object Detection benchmark for UAV [58.89234732689013]
CODroneは、現実の状況を正確に反映した、UAVのための包括的なオブジェクト指向オブジェクト検出データセットである。
また、下流のタスク要求に合わせて設計された新しいベンチマークとしても機能する。
我々は、CODroneを厳格に評価するために、22の古典的またはSOTA法に基づく一連の実験を行う。
論文 参考訳（メタデータ） (2025-04-28T17:56:02Z) - Vision-Based UAV Self-Positioning in Low-Altitude Urban Environments [20.69412701553767]
無人航空機(UAV)は安定した位置決めのために衛星システムに依存している。
このような状況下では、視覚に基づく技術が代替手段として機能し、UAVの自己配置能力を確実にする。
本稿では,UAV自己配置タスク用に設計された最初の公開データセットであるDenseUAVを提案する。
論文 参考訳（メタデータ） (2022-01-23T07:18:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。