論文の概要: UAVReason: A Unified, Large-Scale Benchmark for Multimodal Aerial Scene Reasoning and Generation
- arxiv url: http://arxiv.org/abs/2604.05377v1
- Date: Tue, 07 Apr 2026 03:23:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.60018
- Title: UAVReason: A Unified, Large-Scale Benchmark for Multimodal Aerial Scene Reasoning and Generation
- Title（参考訳）: UAVReason: マルチモーダル航空シーン推論と生成のための統一された大規模ベンチマーク
- Authors: Jintao Sun, Hu Zhang, Donglin Di, Gangyi Ding, Zhedong Zheng,
- Abstract要約: UAVReasonは,Nadir-view UAVシナリオ専用の,最初の大規模マルチモーダルベンチマークである。
273K以上のVQA(Visual Question Answering)ペアを統合し、詳細なキャプションを持つ23.6Kのシングルフレーム、68.2Kの2フレームの時間シーケンス、および188.8Kのクロスモーダル生成サンプルを含む。
ベンチマークでは、空間的および時間的軸にわたる22種類の推論タイプを調査し、同時にRGB、深さ、セグメンテーションのモダリティにわたる高忠実度生成を評価した。
- 参考スコア（独自算出の注目度）: 22.090256033688124
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language models (VLMs) have demonstrated remarkable capability in ground-view visual understanding but often fracture when deployed on high-altitude Unmanned Aerial Vehicles (UAVs). The failure largely stems from a pronounced domain shift, characterized by tiny and densely packed objects, repetitive textures, and ambiguous top-down orientations. These factors severely disrupt semantic grounding and hinder both spatial reasoning and controllable generation. To bridge this critical gap, we introduce UAVReason, the first unified large-scale multi-modal benchmark dedicated to nadir-view UAV scenarios, derived from a high-fidelity UAV simulation platform. In contrast to existing UAV benchmarks, which are largely siloed and focus on single tasks like object detection or segmentation, UAVReason uniquely consolidates over 273K Visual Question Answering (VQA) pairs, including 23.6K single frames with detailed captions, 68.2K 2-frame temporal sequences, and 188.8K cross-modal generation samples. The benchmark probes 22 diverse reasoning types across spatial and temporal axes while simultaneously evaluating high-fidelity generation across RGB, depth, and segmentation modalities. We further establish a strong, unified baseline model via multi-task learning. Extensive experiments validate the efficacy of our unified approach across diverse metrics, such as EM/F1 for VQA, mIoU for segmentation, and CLIP Score for generation. These results indicate limitations of general-domain vision-language models and show that unified multi-task learning substantially improves UAV-native performance. All data, code, and evaluation tools will be publicly released to advance UAV multimodal research.
- Abstract（参考訳）: VLM(Vision-Language Model)は、高高度無人航空機(UAV)に搭載された場合、視界の視覚的理解において顕著な能力を示す。
この失敗は、小さくて密集したオブジェクト、反復的なテクスチャ、曖昧なトップダウンの向きによって特徴づけられる、顕著なドメインシフトに起因している。
これらの要因は意味的接地を著しく破壊し、空間的推論と制御可能な生成の両方を妨げる。
この重要なギャップを埋めるために、我々は、高忠実なUAVシミュレーションプラットフォームから派生した、ナディアビューUAVシナリオに特化した最初の大規模なマルチモーダルベンチマークであるUAVReasonを紹介した。
オブジェクト検出やセグメンテーションのような単一タスクに重点を置いている既存のUAVベンチマークとは対照的に、UAVReasonは273K以上のビジュアル質問応答(VQA)ペアを独自に統合しており、詳細なキャプションを持つ23.6Kの単一フレーム、68.2Kの2フレームの時間シーケンス、および188.8Kのクロスモーダル生成サンプルを含んでいる。
ベンチマークは、空間的および時間的軸にわたる22種類の推論タイプを調査し、同時にRGB、深さ、セグメント化のモダリティにわたる高忠実度生成を評価した。
さらに,マルチタスク学習による強力な統一ベースラインモデルを構築した。
VQAはEM/F1、セグメンテーションはmIoU、生成はCLIPスコアなど多種多様な指標で統一されたアプローチの有効性を検証する。
これらの結果は、汎用ドメインビジョン言語モデルの限界を示し、統一マルチタスク学習がUAVネイティブのパフォーマンスを大幅に向上させることを示す。
データ、コード、評価ツールはすべて、UAVマルチモーダル研究を進めるために公開されます。
関連論文リスト
- Visual Prototype Conditioned Focal Region Generation for UAV-Based Object Detection [23.097895224926905]
無人航空機(UAV)に基づく物体検出は、限られた注釈付きトレーニングデータで動的に変化するシナリオに適用する場合、重要ではあるが困難な課題である。
UAVに基づくオブジェクト検出に適した新しいレイアウト・ツー・イメージ生成フレームワークであるUAVGenを提案する。
本手法は最先端の手法を著しく上回り、異なる検出器と統合した場合の精度を一貫して向上させる。
論文 参考訳（メタデータ） (2026-04-03T11:00:24Z) - Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models [65.4947731385794]
基礎画像中心モデルであるInsight-Vから進化した統合多エージェント視覚推論フレームワークを提案する。
空間的時間的推論を強化し、評価ロバスト性を向上させる2つの新しいアルゴリズムST-GRPOとJ-GRPOを導入する。
LLaVA-NeXTやQwen2.5-VLといったベースモデルの実験は、挑戦的な画像とビデオの推論ベンチマーク間で大きなパフォーマンス向上を示している。
論文 参考訳（メタデータ） (2026-03-18T15:28:07Z) - Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
単眼画像からの空間的推論は 自律運転には不可欠です
現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。
本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-07T02:05:12Z) - A Tri-Modal Dataset and a Baseline System for Tracking Unmanned Aerial Vehicles [74.8162337823142]
MM-UAVはMulti-Modal UAV Trackingの最初の大規模ベンチマークである。
データセットは30以上の挑戦的なシナリオにまたがっており、1,321の同期マルチモーダルシーケンスと280万以上の注釈付きフレームがある。
データセットを伴って、我々は新しいマルチモーダルマルチUAV追跡フレームワークを提供する。
論文 参考訳（メタデータ） (2025-11-23T08:42:17Z) - UAV-VL-R1: Generalizing Vision-Language Models via Supervised Fine-Tuning and Multi-Stage GRPO for UAV Visual Reasoning [11.872945853854628]
本稿では,UAV-VL-R1を提案する。
教師付き微調整(SFT)と多段階強化学習(RL)を組み合わせたハイブリッド手法を用いて訓練を行った。
我々は,UAV-VL-R1がQwen2-VL-2B-Instructベースラインよりも48.17%高いゼロショット精度を実現し,72Bスケールの派生モデルよりも優れていることを示した。
論文 参考訳（メタデータ） (2025-08-15T04:06:40Z) - SVC 2025: the First Multimodal Deception Detection Challenge [16.070848946361696]
SVC 2025 Multimodal Deception Detection Challengeは、音声・視覚的偽装検出におけるクロスドメインの一般化を評価するために設計された新しいベンチマークである。
我々は,より適応し,説明し,実践的に展開可能な偽造検知システムの開発を促進することを目的としている。
論文 参考訳（メタデータ） (2025-08-06T06:56:39Z) - DGE-YOLO: Dual-Branch Gathering and Attention for Accurate UAV Object Detection [0.46040036610482665]
DGE-YOLOは、マルチモーダル情報を効果的に融合するために設計された拡張YOLOベースの検出フレームワークである。
具体的には、モダリティ固有の特徴抽出のためのデュアルブランチアーキテクチャを導入し、モデルが赤外線と可視画像の両方を処理できるようにする。
セマンティック表現をさらに強化するために,空間規模をまたいだ特徴学習を向上する効率的なマルチスケールアテンション(EMA)機構を提案する。
論文 参考訳（メタデータ） (2025-06-29T14:19:18Z) - CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling [84.51372201195132]
CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。
CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。
これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
論文 参考訳（メタデータ） (2025-06-24T17:30:27Z) - Robust Multi-View Learning via Representation Fusion of Sample-Level Attention and Alignment of Simulated Perturbation [61.64052577026623]
実世界のマルチビューデータセットは、しばしば不均一で不完全である。
本稿では,表現融合とアライメントを同時に行う新しいロバストMVL法(RML)を提案する。
我々のRMLは自己教師型であり、正規化として下流のタスクにも適用できます。
論文 参考訳（メタデータ） (2025-03-06T07:01:08Z) - Beyond the Benchmark: Detecting Diverse Anomalies in Videos [0.6993026261767287]
ビデオ異常検出(VAD)は、現代の監視システムにおいて重要な役割を担い、現実の状況における様々な異常を識別することを目的としている。
現在のベンチマークデータセットは、新しいオブジェクト検出のような単純な単一フレームの異常を主に強調している。
我々は,従来のベンチマーク境界を超える複雑な異常を包含するVAD調査の拡大を提唱する。
論文 参考訳（メタデータ） (2023-10-03T09:22:06Z) - Scalable Video Object Segmentation with Identification Mechanism [125.4229430216776]
本稿では,半教師付きビデオオブジェクト(VOS)のスケーラブルで効果的なマルチオブジェクトモデリングを実現する上での課題について検討する。
AOT(Associating Objects with Transformers)とAOST(Associating Objects with Scalable Transformers)の2つの革新的なアプローチを提案する。
当社のアプローチは最先端の競合に勝って,6つのベンチマークすべてにおいて,例外的な効率性とスケーラビリティを一貫して示しています。
論文 参考訳（メタデータ） (2022-03-22T03:33:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。