論文の概要: Holi-Spatial: Evolving Video Streams into Holistic 3D Spatial Intelligence

• arxiv url: http://arxiv.org/abs/2603.07660v1
• Date: Sun, 08 Mar 2026 14:49:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.008102
• Title: Holi-Spatial: Evolving Video Streams into Holistic 3D Spatial Intelligence
• Title（参考訳）: Holi-Spatial:ビデオストリームをホロスティックな3D空間インテリジェンスに進化させる
• Authors: Yuanyuan Gao, Hao Li, Yifei Liu, Xinhao Ji, Yuning Gong, Yuanjun Liao, Fangfu Liu, Manyuan Zhang, Yuchen Yang, Dan Xu, Xue Yang, Huaxi Huang, Hongjie Zhang, Ziwei Liu, Xiao Sun, Dingwen Zhang, Zhihang Zhong,
• Abstract要約: Holi-Spatialは、人間の介入なしに生のビデオ入力から構築された、初めて完全に自動化され、大規模で、空間対応のマルチモーダルデータセットである。 Holi-Spatial-4Mは、12K最適化された3DGSシーン、1.3Mの2Dマスク、320Kの3Dバウンディングボックス、320Kのインスタンスキャプション、1.2Mの3Dグラウンドインスタンス、1.2Mの空間QAペアを含む、最初の大規模で高品質な3Dセマンティックデータセットである。
• 参考スコア（独自算出の注目度）: 78.1406635199656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The pursuit of spatial intelligence fundamentally relies on access to large-scale, fine-grained 3D data. However, existing approaches predominantly construct spatial understanding benchmarks by generating question-answer (QA) pairs from a limited number of manually annotated datasets, rather than systematically annotating new large-scale 3D scenes from raw web data. As a result, their scalability is severely constrained, and model performance is further hindered by domain gaps inherent in these narrowly curated datasets. In this work, we propose Holi-Spatial, the first fully automated, large-scale, spatially-aware multimodal dataset, constructed from raw video inputs without human intervention, using the proposed data curation pipeline. Holi-Spatial supports multi-level spatial supervision, ranging from geometrically accurate 3D Gaussian Splatting (3DGS) reconstructions with rendered depth maps to object-level and relational semantic annotations, together with corresponding spatial Question-Answer (QA) pairs. Following a principled and systematic pipeline, we further construct Holi-Spatial-4M, the first large-scale, high-quality 3D semantic dataset, containing 12K optimized 3DGS scenes, 1.3M 2D masks, 320K 3D bounding boxes, 320K instance captions, 1.2M 3D grounding instances, and 1.2M spatial QA pairs spanning diverse geometric, relational, and semantic reasoning tasks. Holi-Spatial demonstrates exceptional performance in data curation quality, significantly outperforming existing feed-forward and per-scene optimized methods on datasets such as ScanNet, ScanNet++, and DL3DV. Furthermore, fine-tuning Vision-Language Models (VLMs) on spatial reasoning tasks using this dataset has also led to substantial improvements in model performance.
• Abstract（参考訳）: 空間知能の追求は、基本的に大規模できめ細かい3Dデータへのアクセスに依存している。 しかし、既存のアプローチは、生のウェブデータから新しい大規模3Dシーンを体系的に注釈付けするのではなく、限られた数の手動で注釈付けされたデータセットから質問応答(QA)ペアを生成することで、空間的理解のベンチマークを主に構築する。 その結果、スケーラビリティは厳しく制約され、モデルのパフォーマンスは、これらの狭いキュレートされたデータセットに固有のドメインギャップによってさらに妨げられます。 本研究では,人間の介入なしに生のビデオ入力から構築した,最初の完全自動化された大規模空間認識型マルチモーダルデータセットであるHoli-Spatialを提案する。 Holi-Spatialは、幾何学的に正確な3次元ガウススプラッティング(3DGS)再構成からオブジェクトレベルおよび関係意味アノテーション、および対応する空間質問応答(QA)ペアまで、多層空間監視をサポートしている。 さらに,12K最適化された3DGSシーン,1.3M2Dマスク,320K3Dバウンディングボックス,320Kインスタンスキャプション,1.2M3Dグラウンドリングインスタンス,1.2M空間QAペアを含む,最初の大規模で高品質な3DセマンティックデータセットであるHoli-Spatial-4Mを構築した。 Holi-Spatialは、データキュレーションの品質において例外的なパフォーマンスを示し、ScanNet、ScanNet++、DL3DVといったデータセット上で、既存のフィードフォワードおよびシーンごとの最適化メソッドを著しく上回っている。 さらに、このデータセットを用いた空間推論タスクを微調整した視覚言語モデル(VLM)も、モデル性能を大幅に改善した。

関連論文リスト

• Towards Scalable Spatial Intelligence via 2D-to-3D Data Lifting [64.64738535860351]
  単一ビュー画像を包括的・スケール的・外観リアルな3D表現に変換するスケーラブルなパイプラインを提案する。 本手法は,画像の膨大な保存と空間的シーン理解への需要の増大とのギャップを埋めるものである。 画像から精度の高い3Dデータを自動的に生成することにより,データ収集コストを大幅に削減し,空間知性を向上するための新たな道を開く。
  論文  参考訳（メタデータ） (2025-07-24T14:53:26Z)
• From Flatland to Space: Teaching Vision-Language Models to Perceive and Reason in 3D [32.547597353581594]
  本研究では,3次元地上構造を持つシーンデータ上に構築された新しい2次元空間データ生成およびアノテーションパイプラインを提案する。 複数の公開データセットにまたがって数千のシーンから生成される大規模データセットであるSPAR-7Mを構築した。 さらに,空間能力をより包括的に評価するためのベンチマークであるSPAR-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-03-29T04:51:50Z)
• Graph and Skipped Transformer: Exploiting Spatial and Temporal Modeling Capacities for Efficient 3D Human Pose Estimation [36.93661496405653]
  我々は、簡潔なグラフとSkipped Transformerアーキテクチャを用いて、Transformer-temporal情報を活用するためのグローバルなアプローチを採っている。 具体的には、3Dポーズの段階では、粗粒の体部が展開され、完全なデータ駆動適応モデルが構築される。 実験はHuman3.6M、MPI-INF-3DHP、Human-Evaベンチマークで行われた。
  論文  参考訳（メタデータ） (2024-07-03T10:42:09Z)
• MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
  本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。 結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
  本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。 我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。 トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
  論文  参考訳（メタデータ） (2023-11-18T21:58:28Z)
• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• Exploring Deep 3D Spatial Encodings for Large-Scale 3D Scene Understanding [19.134536179555102]
  生の3次元点雲の空間的特徴を非方向性グラフモデルに符号化することで,CNNに基づくアプローチの限界を克服する代替手法を提案する。 提案手法は、訓練時間とモデル安定性を改善して、最先端の精度で達成し、さらなる研究の可能性を示す。
  論文  参考訳（メタデータ） (2020-11-29T12:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。