論文の概要: OVO-S-Bench: A Hierarchical Benchmark for Streaming Spatial Intelligence in Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2606.03890v1
• Date: Tue, 02 Jun 2026 16:51:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.182823
• Title: OVO-S-Bench: A Hierarchical Benchmark for Streaming Spatial Intelligence in Multimodal LLMs
• Title（参考訳）: OVO-S-Bench:マルチモーダルLLMにおける空間情報ストリーミングのための階層的ベンチマーク
• Authors: Yifei Li, Pengyiang Liu, Yuhang Zang, Zhongyue Shi, Qi Fu, Hongye Hao, Jiwen Lu,
• Abstract要約: OVOS-Benchは、人間中心の空間知能をストリーミングするための完全な注釈付きベンチマークである。 348のソースビデオに関する1,680の質問で構成されている。 それぞれの質問はクエリとエビデンスインターバルを持ち、評価において、モデルはクエリの前のプレフィックスのみを表示する。
• 参考スコア（独自算出の注目度）: 49.82435858489898
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal agents in robotics, AR, and autonomous driving must reason about places and layouts from continuous egocentric streams, often using evidence outside the current view. Existing benchmarks either evaluate offline over full videos or target events rather than spatial structure. We introduce OVO-S-Bench, a fully human-annotated benchmark for streaming spatial intelligence, comprising 1,680 questions over 348 source videos. Annotation involves 12 trained annotators, each also serving as a blind cross-reviewer, across roughly 804 person-hours of multi-round quality assurance. Each question carries a query timestamp and an evidence interval, and at evaluation, the model sees only the prefix preceding the query. Questions span four levels of increasing abstraction: instantaneous egocentric perception, spatiotemporal context tracking, spatial simulation and reasoning, and allocentric mapping. Across 38 proprietary and open-source MLLMs, Gemini-3.1-Pro trails human experts by 27 points, 59.2 vs. 86.6, with allocentric mapping as the dominant bottleneck. Notably, streaming and spatially fine-tuned MLLMs underperform their own backbones. We further find that chain-of-thought reasoning amplifies spatial errors when ungrounded in the stream. By exposing these limitations, OVO-S-Bench establishes a demanding testbed for next-generation streaming spatial MLLMs.
• Abstract（参考訳）: ロボット、AR、自律運転におけるマルチモーダルエージェントは、しばしば現在の視点外の証拠を使用して、連続的な自我中心のストリームからの場所とレイアウトを推論する必要がある。 既存のベンチマークでは、フルビデオ上のオフライン評価や、空間構造よりもターゲットイベントが評価されている。 我々はOVO-S-Benchについて紹介する。OVO-S-Benchは348のソースビデオに対して1,680の質問を含む,完全人間による空間情報ストリーミングのベンチマークである。 アノテーションには12のトレーニングされたアノテーションが含まれており、それぞれが視覚障害者のクロスレビュアーとしても機能し、約804時間のマルチラウンド品質保証をカバーしている。 各質問は、クエリタイムスタンプとエビデンス間隔を持ち、評価時には、モデルがクエリの前のプレフィックスのみを表示する。 質問は、即時自我中心の知覚、時空間追跡、空間シミュレーションと推論、同中心のマッピングの4つのレベルにまたがる。 38のプロプライエタリでオープンソースのMLLMで、Gemini-3.1-Proは27ポイント、59.2対86.6で、アロセントリックマッピングが主要なボトルネックとなっている。 特に、ストリーミングと空間的に微調整されたMLLMは、自身のバックボーンを過小評価している。 さらに,ストリームのアングラウンド化による空間誤差が増大することが示唆された。 これらの制限を明らかにすることで、OVO-S-Benchは次世代ストリーミング空間MLLMの要求テストベッドを確立する。

関連論文リスト

• ARGOS: Who, Where, and When in Agentic Multi-Camera Person Search [49.61286310968402]
  我々は,対話型推論問題として,マルチカメラの人物探索を再構成する最初のベンチマークとフレームワークであるARGOSを紹介する。 ARGOSエージェントはあいまいな目撃声明を受け取り、何を尋ねるか、いつ空間的または時間的ツールを呼び出すか、不明瞭な応答をどう解釈するかを判断しなければならない。 このベンチマークは、意味的知覚(Who)、空間的推論(Where)、時間的推論(When)の3つのプログレッシブトラックにおいて、14の現実世界シナリオにまたがる2,691のタスクからなる。
  論文  参考訳（メタデータ） (2026-04-14T14:06:19Z)
• See, Remember, Explore: A Benchmark and Baselines for Streaming Spatial Reasoning [41.278682336342165]
  S3-Benchは,アクティブな探索による空間質問応答をストリーミングするベンチマークスイートである。 S3-Benchはデュアルドメイン設計を採用し、スケーラブルなシミュレータと制御可能な軌道と探索動作を組み合わせた。 提案手法は,S3-Evalのシミュレーションおよび実分割において,それぞれ8.8%と13.3%の改善をもたらす。
  論文  参考訳（メタデータ） (2026-03-25T02:45:03Z)
• From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs [65.04549036809557]
  我々は、ステレオカメラ、LiDAR、IMU/GPSセンサーで撮影された歩行者の視線映像から構築したベンチマークを紹介する。 このデータセットは、計量的に正確な3D情報を提供し、空間的推論質問の自動生成を可能にする。 評価の結果、構造化屋内ベンチマークで観測された性能向上は、オープンワールド環境では消滅することが明らかとなった。
  論文  参考訳（メタデータ） (2025-12-22T18:58:12Z)
• MMSI-Video-Bench: A Holistic Benchmark for Video-Based Spatial Intelligence [61.065486539729875]
  MMSI-Video-Bench(MMSI-Video-Bench)は、MLLMにおけるビデオベースの空間知能の完全な人為的なベンチマークである。 4段階のフレームワークである知覚、計画、予測、クロスビデオ推論を運用しており、1,278のクリップで1,106の質問を下敷きにしている。 オープンソースとプロプライエタリなMLLMを25種類評価し,AIギャップが顕著であることを明らかにした。
  論文  参考訳（メタデータ） (2025-12-11T17:57:24Z)
• Are Multimodal Large Language Models Ready for Omnidirectional Spatial Reasoning? [66.88619941063048]
  MLLM(Multimodal large language model)は全方向空間推論に対応しているのか? OSR-Benchはこの設定のために特別に設計された最初のベンチマークである。 高忠実度パノラマ屋内シーンマップには、153,000以上の多様な質問応答ペアが含まれている。 GPT-4o, Gemini 1.5 Proを含む8つの最先端MLLMを評価し, ゼロショット設定で主要なオープンソースモデルを評価した。
  論文  参考訳（メタデータ） (2025-05-17T08:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。