論文の概要: Stream3D-VLM: Online 3D Spatial Understanding with Incremental Geometry Priors

• arxiv url: http://arxiv.org/abs/2606.06891v1
• Date: Fri, 05 Jun 2026 04:16:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.560408
• Title: Stream3D-VLM: Online 3D Spatial Understanding with Incremental Geometry Priors
• Title（参考訳）: Stream3D-VLM: インクリメンタルジオメトリによるオンライン3次元空間理解
• Authors: Hanxun Yu, Xuan Qu, Lei Ke, Boqiang Zhang, Yuxin Wang, Jianke Zhu, Dong Yu,
• Abstract要約: ストリーミングビデオからリアルタイムな空間的理解を可能にするオンライン3次元視覚言語モデルを提案する。 提案手法では,LLMの次なる予測に基づく自己回帰型ストリーミング制御モデルを用いて,応答のタイミングを学習する。 3D言語データのストリーミングの難しさに対処するため、我々はさらにスケーラブルなデータ生成パイプラインを開発する。
• 参考スコア（独自算出の注目度）: 54.51965288351254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite advances in 3D scene understanding, existing 3D Large Multimodal Models operate in offline settings, requiring complete scene observations or predefined video clips. In this paper, we present an online 3D vision-language model that enables real-time spatial understanding from streaming video. Our approach adopts an autoregressive streaming control modeling based on the LLM's next-token prediction objective to learn when to respond, and employs a lightweight Visual-Spatial Feature Integration (VSFI) module to incrementally inject temporally aligned geometry priors into the visual stream. To alleviate long-context decoding overhead, we propose a plug-and-play Geometry-Adaptive Voxel Compression (GAVC) module for efficient visual token compression. To address the scarcity of streaming 3D-language data, we further develop a scalable data generation pipeline that curates over 1M online spatio-temporal 3D QA pairs and establishes a comprehensive benchmark spanning 29 tasks. Extensive experiments show that our approach significantly outperforms both proprietary and open-source models across online and offline 3D spatial understanding, reasoning, and grounding tasks. The project page is available at https://stream3d-vlm.github.io/
• Abstract（参考訳）: 3Dシーン理解の進歩にもかかわらず、既存の3D大型マルチモーダルモデルはオフラインで動作し、シーンの完全な観察やビデオクリップが必要である。 本稿では,ストリーミング映像からリアルタイムな空間的理解を可能にするオンライン3次元視覚言語モデルを提案する。 提案手法では,LLMの次段階の予測目標に基づく自己回帰型ストリーミング制御モデルを用いて,応答のタイミングを学習し,軽量なVisual-Spatial Feature Integration (VSFI) モジュールを用いて,時間的に整合した幾何先行を視覚ストリームにインジェクションする。 長いコンテキストのデコーディングのオーバーヘッドを軽減するため,効率的なビジュアルトークン圧縮のためのGeometry-Adaptive Voxel Compression (GAVC) モジュールを提案する。 ストリーミング3D言語データの不足に対処するため、さらにスケーラブルなデータ生成パイプラインを開発し、オンライン時空間3DQAペア100万以上をキュレートし、29のタスクにまたがる包括的なベンチマークを確立する。 大規模な実験により、我々のアプローチは、オンラインおよびオフラインの空間的理解、推論、接地作業において、プロプライエタリモデルとオープンソースモデルの両方を著しく上回ります。 プロジェクトページはhttps://stream3d-vlm.github.io/で公開されている。

関連論文リスト

• Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding [50.098085774845195]
  本稿では,大規模生成モデルにおいて暗黙の空間的先行性を活用することで,パラダイムシフトを提案する。 GeneEGA-3D (Video Extracted Generative Awareness) は,事前学習した映像拡散モデルを潜在世界シミュレータとして再利用するプラグイン・アンド・プレイ・フレームワークである。
  論文  参考訳（メタデータ） (2026-03-19T17:59:58Z)
• Vid-LLM: A Compact Video-based 3D Multimodal LLM with Reconstruction-Reasoning Synergy [4.1703677379815565]
  外部の3Dデータを必要としないビデオ入力を直接処理するビデオベースの3D-MLLMであるVid-LLMを提案する。 本手法では, 偏見の知覚性能を向上させるために, 幾何先行法を直接的に用いた。 各種ベンチマーク実験により,3次元質問応答,3次元キャプション,3次元視覚的接地作業において,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2025-09-29T07:34:18Z)
• VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
  本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。 VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
  論文  参考訳（メタデータ） (2025-05-26T17:56:30Z)
• Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
  本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。 我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。 その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T15:28:17Z)
• Memory-based Adapters for Online 3D Scene Perception [71.71645534899905]
  従来の3Dシーン認識手法はオフラインである。 本稿では,3次元シーン認識モデルのバックボーンのためのアダプタベースのプラグアンドプレイモジュールを提案する。 私たちのアダプタは、さまざまなタスクのメインストリームのオフラインアーキテクチャに簡単に挿入でき、オンラインタスクのパフォーマンスを大幅に向上できます。
  論文  参考訳（メタデータ） (2024-03-11T17:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。