論文の概要: RSLiveBench-UAV: A Continually Evolving Vision-Language Benchmark for Aerial Spatial Intelligence
- arxiv url: http://arxiv.org/abs/2611.14953v1
- Date: Wed, 11 Nov 2026 02:59:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.991948
- Title: RSLiveBench-UAV: A Continually Evolving Vision-Language Benchmark for Aerial Spatial Intelligence
- Title(参考訳): RSLiveBench-UAV:空中空間知能のための連続的に進化する視覚言語ベンチマーク
- Abstract要約: RSLiveBench-UAVは、新鮮な物理観測、エンティティ中心の回答生成、システマティックモデル評価を接続する。
10場面の35,491件の質問記録に対して,30の汎用,リモートセンシング,具体化モデルを評価した。
- 参考スコア(独自算出の注目度): 38.10617938286433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aerial spatial intelligence (ASI) requires models to understand objects and spatial relationships across changing viewpoints and scales. Evaluating these abilities as models evolve calls for fresh physical observations, yet producing new aerial spatial questions requires repeatedly establishing entity identities, geometric references, and cross-view correspondences. We introduce \textbf{RSLiveBench-UAV}, a continually evolving vision-language benchmark driven by recurring acquisition of real UAV imagery. Its update protocol admits images captured after the preceding release and delays answer disclosure. An entity-centered production workflow uses geometry-assisted association to link repeated observations of physical vehicles, reuse human-verified attributes, and combine them with view-specific annotations and spatial references for traceable question generation. All tasks use deterministic scoring without model judges. We evaluate 30 general-purpose, remote-sensing, and embodied models on 35,491 question records from ten scenes, covering 17 tasks across 2D perception, 3D perception, cross-view perception, and reasoning. All 18 tested embodied models outperform the three selected remote-sensing comparators in Overall, although the strongest embodied model scores 43.29 versus 59.88 for GPT-6-Astra. Fine-grained vehicle recognition remains challenging, and performance varies across heights and camera pitches. Retrospective scene-group comparisons and rolling-window replay characterize score-pattern consistency under scene renewal. RSLiveBench-UAV connects fresh physical observations, entity-centered answer production, and systematic model evaluation to support continual assessment of ASI. Benchmark will release at https://rslivebench.space
- Abstract(参考訳): 航空空間知能 (ASI) は、視点やスケールの変化にまたがる対象や空間的関係を理解するためにモデルを必要とする。
モデルが進化するにつれてこれらの能力を評価することは、新鮮な物理観測を必要とするが、新しい空間的な疑問を生み出すためには、実体のアイデンティティ、幾何学的参照、および相互参照の対応を何度も確立する必要がある。
本稿では,実際のUAV画像の連続取得による視覚言語ベンチマークである‘textbf{RSLiveBench-UAV} を紹介する。
そのアップデートプロトコルは、前回のリリース後に撮影された画像を認め、回答の開示を遅らせる。
エンティティ中心のプロダクションワークフローは、幾何学的支援されたアソシエーションを使用して、物理車両の繰り返し観測をリンクし、人間の検証属性を再利用し、ビュー固有のアノテーションと、トレース可能な質問生成のための空間参照を組み合わせる。
すべてのタスクは、モデル判断なしで決定論的スコアを使用する。
本研究では,3次元知覚,3次元知覚,クロスビュー知覚,推論を含む17のタスクを対象とし,35,491件の質問記録から30件の汎用的,遠隔センシング,具体化モデルを評価した。
テストされた18のモデルは全て、選択された3つのリモートセンシングコンパレータを総合的に上回ったが、GPT-6-アストラでは最強のモデルスコアが43.29、59.88であった。
微粒な車両認識は依然として困難であり、性能は高さやカメラピッチによって異なる。
シーン更新時のシーン群比較とロールウインドウ再生はスコアパターンの一貫性を特徴付ける。
RSLiveBench-UAVは、新しい物理観測、エンティティ中心の回答生成、および系統モデル評価を接続し、AISの継続的な評価を支援する。
Benchmarkはhttps://rslivebench.spaceでリリースされる。
関連論文リスト
- JRDB-AVR: An Active Visual Reasoning Benchmark for Embodied Agents in Real-World Environments [51.05603466006443]
具体化された視覚的推論のシナリオでは、質問に答えるために必要な証拠は時間、視点、相互作用するオブジェクトに分散する可能性がある。
我々は,構造化質問生成エンジンを用いて,既存の実世界のJRDBロボットデータから得られたベンチマークであるJRDB-AVRを紹介する。
また, 明示的な観測地上グラフに基づく世界モデルを維持する, 参照能動推論エージェントであるJRDB-AVR-Agentについても紹介する。
論文 参考訳(メタデータ) (2026-09-28T12:30:11Z) - SpatialUAV: Benchmarking Spatial Intelligence for Low-Altitude UAV Perception, Collaboration, and Motion [76.8430169655641]
空間知能は、低高度無人航空機(UAV)の認識、協調、航行に不可欠である。
本研究では,実際の低高度UAVベンチマークであるSpatialUAVを紹介した。
現状のモデルは, クロスビュー・アソシエーション, 構造的グラウンドリング, 幾何学的推論, 時間的視点理解において, 明らかなボトルネックを伴って, 人間のレベル・パフォーマンスから遠ざかっていることを示す。
論文 参考訳(メタデータ) (2026-06-26T09:16:55Z) - DRIVESPATIAL: A Benchmark for Spatiotemporal Intelligence in VLMs for Autonomous Driving [15.87281823665284]
DriveSpatialは、5つの大規模自律運転データセットから20タスクにわたる15.6Kの検証済みQAペアのベンチマークである。
以前のベンチマークとは異なり、DriveSpatialはオブジェクトの状態、空間的関係、インタラクション、カメラの可視性、時間的対応をエンコードする動的多言語シーングラフから生成される。
最強のモデルは人間を28.4ポイント追尾し、認知シーン構築が重要なボトルネックとなる。
論文 参考訳(メタデータ) (2026-05-22T02:52:06Z) - ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning [59.558706734431276]
空間知能の現在の評価は、現代の視覚言語モデル(VLM)設定下で体系的に無効にすることができる。
本稿では,各QAペアが実際の入力の下で応答可能で正しいことを保証するためのベンチマークとプロトコルであるReVSIを紹介する。
論文 参考訳(メタデータ) (2026-04-27T10:45:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。