論文の概要: Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence
- arxiv url: http://arxiv.org/abs/2607.12477v2
- Date: Wed, 15 Jul 2026 01:51:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 12:21:59.574937
- Title: Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence
- Title（参考訳）: 宇宙における自己:UAVの自己認識と空間認知のベンチマーク
- Abstract要約: SIS-Benchは、UAVシナリオにおけるエンボディド空間インテリジェンスを評価するためのベンチマークである。
SIS-Benchは、空間と自己の2つの相補的な次元と、知覚、記憶、推論の3レベル階層に沿って評価を編成する。
実験結果から,モデリングエージェントの動作は知覚と記憶性能を一貫して改善することが示された。
- 参考スコア（独自算出の注目度）: 23.612425637328553
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous UAV systems increasingly rely on multimodal large language models (MLLMs) to operate in complex real-world environments. Such embodied scenarios require not only understanding the surrounding space but also maintaining a coherent representation of the agent itself. However, existing UAV-oriented approaches and benchmarks remain largely environment-centric, primarily focusing on spatial understanding tasks, with the agent's self-awareness remaining implicit. To address this gap, we introduce SIS-Bench, a benchmark for evaluating embodied spatial intelligence in UAV scenarios under a unified self-in-space formulation. SIS-Bench organizes evaluation along two complementary dimensions, space and self, and a three-level hierarchy of perception, memory, and reasoning. It contains 4,856 question--answer pairs across 13 tasks derived from 1,646 real-world UAV videos through a task-conditioned construction pipeline with expert verification. Extensive evaluations reveal that current MLLMs exhibit fundamental limitations in modeling dynamic and agent-centered processes. In particular, we observe a clear imbalance between spatial cognition and self-awareness, as well as a progressive performance degradation across cognitive levels. Motivated by these findings, we further explore a motion-aware representation that incorporates self-related dynamics through optical flow and visual feature fusion. Experimental results show that modeling agent motion consistently improves perception and memory performance, not only in spatial cognition but also in self-awareness, and generalizes to downstream UAV decision-making tasks. Our results highlight the importance of self-awareness for advancing embodied spatial intelligence, and provide both a new benchmark and empirical evidence for motion-aware self-in-space modeling.
- Abstract（参考訳）: 自律型UAVシステムは、複雑な現実世界環境での運用のために、MLLM(Multimodal large language model)にますます依存している。
このような具現化されたシナリオは、周囲の空間を理解するだけでなく、エージェント自体のコヒーレントな表現も維持する必要がある。
しかし、既存のUAV指向のアプローチとベンチマークは、主に空間理解タスクに焦点を当て、エージェントの自己認識は暗黙的に残されている。
このギャップに対処するために, SIS-Bench を導入し, 宇宙空間の統一的な定式化の下でUAVシナリオにおける具体的空間インテリジェンスの評価を行う。
SIS-Benchは、空間と自己の2つの相補的な次元と、知覚、記憶、推論の3レベル階層に沿って評価を編成する。
これには、専門家による検証を伴うタスク条件付き建設パイプラインを通じて、1,646件の実際のUAVビデオから抽出された13のタスクに対する4,856件の質問対が含まれている。
広範囲な評価により、現在のMLLMは動的およびエージェント中心のプロセスのモデリングに基本的な制限があることが明らかになった。
特に,空間認知と自己認識の明確な不均衡を観察し,認知レベルの進行的なパフォーマンス劣化を観察する。
これらの知見に触発されて、光学的フローと視覚的特徴融合を通して、自己関連ダイナミクスを取り入れた動き認識表現をさらに探求する。
実験結果から,モデリングエージェントの動作は空間認識だけでなく,自己認識においても,知覚と記憶性能を一貫して改善し,下流のUAV意思決定タスクに一般化することが示された。
本研究は,空間知能の発達における自己認識の重要性を強調し,動き認識型自己空間モデリングのための新しいベンチマークと実証的証拠を提供する。
関連論文リスト
- Towards Generalizable Visually Grounded Exploration of Household Devices [74.66117923766632]
汎用的な自律的実施エージェントを実現する上でのボトルネックは、Generalizable Visually Grounded Explorationにある。
VGEBenchは、視覚言語モデルの一般化可能な視野探索能力を評価するために設計されたベンチマークである。
静的なデータセットとは異なり、我々はLogic-Driven State Machineフレームワークを構築している。このフレームワークは多ターンインタラクションループをシミュレートし、アクティブな視覚知覚とフィードバック駆動の修正によって目標を達成するエージェントを説得する。
論文 参考訳（メタデータ） (2026-09-01T07:42:45Z) - SUMO: Segment and Track Any Motion with Nonlinear State Space Models [20.136630716718383]
Visual Object Tracking (VOT) とMotion Object (MOS) はコンピュータビジョンにおける2つの基本的なタスクである。
我々は、非線形ダイナミクスと視覚に基づくセグメンテーションを統合した、ゼロショット、トレーニング不要、統一的なフレームワークSUMOを提案する。
具体的には,ロボットの原理にインスパイアされた非線形状態空間モデル(SSM)を開発し,複雑な物体のダイナミクスを捉える。
論文 参考訳（メタデータ） (2026-06-29T06:55:13Z) - V-Reflection: Transforming MLLMs from Passive Observers to Active Interrogators [43.642375673675566]
V-リフレクション(V-Reflection)は、MLLMを「考える」視覚反射機構を通じてアクティブなインタクタに変換するフレームワークである。
推論の間、潜伏状態は動的プローブとして機能し、視覚的特徴空間を積極的に問う。
V-リフレクションは、タスククリティカルなエビデンスをローカライズする能力を内部化する。
論文 参考訳（メタデータ） (2026-03-31T03:57:56Z) - ESPIRE: A Diagnostic Benchmark for Embodied Spatial Reasoning of Vision-Language Models [37.686748605290795]
ESPIREは空間推論のための診断ベンチマークである。
物理的に視覚言語モデルに基づいて、空間推論中心のロボットタスクでそれらを評価する。
我々は各タスクをローカライズと実行に分解し、両方を生成問題として扱う。
論文 参考訳（メタデータ） (2026-03-13T14:43:00Z) - AerialMind: Towards Referring Multi-Object Tracking in UAV Scenarios [64.51320327698231]
UAVシナリオにおける最初の大規模RMOTベンチマークであるAerialMindを紹介する。
我々は、革新的な半自動協調型エージェントベースラベリングアシスタントフレームワークを開発した。
また,視覚言語表現学習を協調的に強化する新しい手法であるHawkEyeTrackを提案する。
論文 参考訳（メタデータ） (2025-11-26T04:44:27Z) - Spatial-DISE: A Unified Benchmark for Evaluating Spatial Reasoning in Vision-Language Models [21.28937516885804]
我々は,タスクを4つの基本四分節に分類する認知的基盤の分類に基づく統合ベンチマークtextbfSpatial-DISEを提案する。
データ不足の問題に対処するため,多様かつ検証可能な空間的推論問題を生成するスケーラブルで自動化されたパイプラインを開発した。
論文 参考訳（メタデータ） (2025-10-15T10:44:01Z) - How Far are VLMs from Visual Spatial Intelligence? A Benchmark-Driven Perspective [103.44502230776352]
視覚言語モデル(VLM)における視覚空間推論(VSR)の系統的研究について述べる。
空間インテリジェンスを3つのレベル,すなわち基本的な知覚,空間理解,空間計画,および空間インテリジェンスベンチマークSIBenchに分類した。
論文 参考訳（メタデータ） (2025-09-23T12:00:14Z) - VLM4D: Towards Spatiotemporal Awareness in Vision Language Models [66.833085504228]
V4DLMは視覚言語モデル(VLM)を評価するために設計された最初のベンチマークである。
本ベンチマークは,質問応答対を慎重にキュレートした,多様な実世界および合成ビデオで構成されている。
我々は,既存のモデルにおける基本的欠陥を浮き彫りにして,人間のベースラインと比較して重要なパフォーマンスギャップを識別する。
論文 参考訳（メタデータ） (2025-08-04T06:06:06Z) - ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。
現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。
マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
論文 参考訳（メタデータ） (2025-05-27T17:59:26Z) - SITE: towards Spatial Intelligence Thorough Evaluation [121.1493852562597]
空間知能 (Spatial Intelligence, SI) は、空間的関係の可視化、操作、推論を含む認知能力を表す。
SI Thorough Evaluationに向けたベンチマークデータセットであるSITEを紹介する。
ベンチマークの計算には、31の既存のデータセットに関するボトムアップ調査と、認知科学の3つの分類システムに基づくトップダウン戦略を組み合わせる。
論文 参考訳（メタデータ） (2025-05-08T17:45:44Z) - Beyond Semantics: Rediscovering Spatial Awareness in Vision-Language Models [13.768090541138571]
視覚言語モデル(VLM)はオブジェクトの識別と記述に優れるが、しばしば空間的推論では失敗する。
視覚トークンの埋め込みは、テキストトークンよりもはるかに大きな規範を持っている。
視覚トークンとシステムが注目を惹きつけることを明らかにするツール。
論文 参考訳（メタデータ） (2025-03-21T17:51:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。