論文の概要: Drone-PUR: From Visual Clue Discovery to Understanding and Reasoning in UAV Scenes
- arxiv url: http://arxiv.org/abs/2610.40801v1
- Date: Thu, 29 Oct 2026 18:01:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.464167
- Title: Drone-PUR: From Visual Clue Discovery to Understanding and Reasoning in UAV Scenes
- Title(参考訳): Drone-PUR: 視覚的キュー発見からUAVシーンの理解と推論へ
- Abstract要約: 我々は、視覚的手がかり発見、解釈、統合を中心に編成されたデータセットとベンチマークであるDrone-PURを紹介する。
推論サンプルは、複数の視覚的手がかりを組み合わせて視覚的根拠を導出するモデルを必要とするように設計されている。
我々は、22の汎用視覚言語モデルを評価し、空間的判断と相互モーダル・クロスビュー推論に永続的な制約を見いだした。
- 参考スコア(独自算出の注目度): 47.53940441792914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The reasoning capabilities of vision-language models (VLMs) can be limited by incomplete or inaccurate visual observations in the general domain. In unmanned aerial vehicle (UAV) scenes, small targets, subtle attributes, and changing viewpoints further complicate perception and understanding. Therefore, we introduce Drone-PUR, a dataset and benchmark organized around visual clue discovery, interpretation, and integration, corresponding to the three capability dimensions of perception, understanding, and reasoning. Reasoning samples are designed to require models to combine multiple visual clues to derive visually grounded conclusions. Its 11 tasks provide 175k training and 20k test samples spanning single images, image sequences, cross-modal images, and multiple viewpoints. All test samples undergo human review. Evaluating 22 general-purpose VLMs reveals persistent limitations in spatial judgment and cross-modal and cross-view reasoning. Across models, stronger perception is associated with better reasoning, while single-task fine-tuning further reveals selective bidirectional transfer between these capabilities. To examine domain adaptation, we develop UAV-PUR from Qwen3-VL through staged fine-tuning with auxiliary supervision. Its 4B and 8B variants improve overall multiple-choice accuracy by 18.33 and 17.52 percentage points over their pretrained counterparts, respectively. The dataset and project resources are available at https://drone-pur.github.io.
- Abstract(参考訳): 視覚言語モデル(VLM)の推論能力は、一般領域における不完全または不正確な視覚観察によって制限される。
無人航空機(UAV)のシーンでは、小さな目標、微妙な特性、視点の変化が知覚と理解をさらに複雑にする。
そこで我々は、視覚的手がかり発見、解釈、統合を中心に編成されたデータセットとベンチマークであるDrone-PURを紹介し、知覚、理解、推論の3つの能力次元に対応する。
推論サンプルは、複数の視覚的手がかりを組み合わせて視覚的根拠を導出するモデルを必要とするように設計されている。
11のタスクは175kのトレーニングと20kのテストサンプルを提供し、単一のイメージ、画像シーケンス、クロスモーダルイメージ、複数の視点にまたがる。
すべてのテストサンプルは、人間によるレビューを受けます。
22個の汎用VLMを評価すると、空間的判断や、モーダル・クロスビュー推論における永続的な制限が明らかになる。
モデル全体では、より強い知覚はより良い推論と結びついており、シングルタスクの微調整はこれらの能力の間の選択的な双方向移動をさらに明らかにしている。
そこで本研究では,Qwen3-VLからのUAV-PURを補助監督による微調整により開発する。
4Bと8Bの派生型は、それぞれ事前訓練されたものよりも18.33と17.52の精度で総合的に倍増している。
データセットとプロジェクトリソースはhttps://drone-pur.github.io.comで公開されている。
関連論文リスト
- Is Visual Prompting All You Need? Studying VLM Spatial Reasoning under Progressive Visual Scaffolds [12.841957617988148]
本研究では,タスクの視覚的提示がモデル性能と障害モードを,基礎となる推論問題が変化しない場合にどのように形成するかを検討する。
空間構造をより使いやすくしながら、視覚的モダリティを保ちつつ、軽量な入力側足場を導入する。
視覚提示は,VLMベンチマークが基底認識,下流推論,あるいは両者の混合を計測するかどうかを決定する中心的な要因であることがわかった。
論文 参考訳(メタデータ) (2026-08-21T14:40:26Z) - SpatialUAV: Benchmarking Spatial Intelligence for Low-Altitude UAV Perception, Collaboration, and Motion [76.8430169655641]
空間知能は、低高度無人航空機(UAV)の認識、協調、航行に不可欠である。
本研究では,実際の低高度UAVベンチマークであるSpatialUAVを紹介した。
現状のモデルは, クロスビュー・アソシエーション, 構造的グラウンドリング, 幾何学的推論, 時間的視点理解において, 明らかなボトルネックを伴って, 人間のレベル・パフォーマンスから遠ざかっていることを示す。
論文 参考訳(メタデータ) (2026-06-26T09:16:55Z) - UAVReason: A Unified, Large-Scale Benchmark for Multimodal Aerial Scene Reasoning and Generation [22.090256033688124]
UAVReasonは,Nadir-view UAVシナリオ専用の,最初の大規模マルチモーダルベンチマークである。
273K以上のVQA(Visual Question Answering)ペアを統合し、詳細なキャプションを持つ23.6Kのシングルフレーム、68.2Kの2フレームの時間シーケンス、および188.8Kのクロスモーダル生成サンプルを含む。
ベンチマークでは、空間的および時間的軸にわたる22種類の推論タイプを調査し、同時にRGB、深さ、セグメンテーションのモダリティにわたる高忠実度生成を評価した。
論文 参考訳(メタデータ) (2026-04-07T03:23:30Z) - Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology [87.65242416688146]
TreeBenchは、ビジュアルグラウンド推論の診断ベンチマークである。
TreeVGRは、強化学習と共同でローカライゼーションと推論を監督する訓練パラダイムである。
論文 参考訳(メタデータ) (2025-07-10T17:59:58Z) - VLMs have Tunnel Vision: Evaluating Nonlocal Visual Reasoning in Leading VLMs [18.349695067647012]
ビジュアル言語モデルは、VQAやチャート理解といった複雑なビジュアルタスクに優れていますが、最近の研究は、単純なテストで苦労していることを示唆しています。
非局所的な視覚的推論のための視覚言語モデルの能力を評価する。
その結果,生の視力の上昇にもかかわらず,現在のモデルでは中心的な視覚的推論能力が欠如していることが判明した。
論文 参考訳(メタデータ) (2025-07-04T23:15:52Z) - Detecting and Preventing Hallucinations in Large Vision Language Models [4.7264116948935975]
M-HalDetectは、詳細な画像記述のための最初のマルチモーダル幻覚検出データセットである。
InstructBLIPから細粒度マルチモーダル報酬モデルを訓練し,その有効性を評価する。
LLaVAとmPLUG-OWLの幻覚をそれぞれ15%と57%低減する。
論文 参考訳(メタデータ) (2023-08-11T21:35:20Z) - One-Shot Object Affordance Detection in the Wild [76.46484684007706]
Affordance Detectionは、画像内のオブジェクトの潜在的なアクション可能性を特定することを指す。
我々は、人間の行動目的を推定し、それを転送して、すべての候補画像から共通価格を検出するワンショットアフォーダンス検出ネットワーク(OSAD-Net)を考案する。
複雑なシーンと豊富なアノテーションによって、当社のPADv2データセットは、アベイランス検出メソッドをベンチマークするためのテストベッドとして使用することができます。
論文 参考訳(メタデータ) (2021-08-08T14:53:10Z) - A Flow Base Bi-path Network for Cross-scene Video Crowd Understanding in
Aerial View [93.23947591795897]
本稿では,これらの課題に対処し,ドローンから収集した視覚的データから参加者を自動的に理解する。
クロスシーンテストで発生する背景雑音を軽減するために, 二重ストリーム群カウントモデルを提案する。
極暗環境下での集団密度推定問題に対処するために,ゲームグランドセフトオートV(GTAV)によって生成された合成データを導入する。
論文 参考訳(メタデータ) (2020-09-29T01:48:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。