論文の概要: PanopticQuery: Unified Query-Time Reasoning for 4D Scenes
- arxiv url: http://arxiv.org/abs/2604.05638v1
- Date: Tue, 07 Apr 2026 09:40:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.7454
- Title: PanopticQuery: Unified Query-Time Reasoning for 4D Scenes
- Title（参考訳）: PanopticQuery: 4Dシーンのための統一クエリ時間推論
- Authors: Ruilin Tang, Yang Zhou, Zhong Ye, Wenxi Liu, Yan Huang, Shengfeng He,
- Abstract要約: 4Dシーンでクエリ時間推論を統一するフレームワークであるPanopticQueryを紹介した。
提案手法は高忠実度動的再構成のための4次元ガウススプラッティングに基づいている。
動的シーンにおける言語ベースのクエリのための新しいベンチマークであるPanoptic-L4Dを提案する。
- 参考スコア（独自算出の注目度）: 53.672906752290665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding dynamic 4D environments through natural language queries requires not only accurate scene reconstruction but also robust semantic grounding across space, time, and viewpoints. While recent methods using neural representations have advanced 4D reconstruction, they remain limited in contextual reasoning, especially for complex semantics such as interactions, temporal actions, and spatial relations. A key challenge lies in transforming noisy, view-dependent predictions into globally consistent 4D interpretations. We introduce PanopticQuery, a framework for unified query-time reasoning in 4D scenes. Our approach builds on 4D Gaussian Splatting for high-fidelity dynamic reconstruction and introduces a multi-view semantic consensus mechanism that grounds natural language queries by aggregating 2D semantic predictions across multiple views and time frames. This process filters inconsistent outputs, enforces geometric consistency, and lifts 2D semantics into structured 4D groundings via neural field optimization. To support evaluation, we present Panoptic-L4D, a new benchmark for language-based querying in dynamic scenes. Experiments demonstrate that PanopticQuery sets a new state of the art on complex language queries, effectively handling attributes, actions, spatial relationships, and multi-object interactions. A video demonstration is available in the supplementary materials.
- Abstract（参考訳）: 自然言語クエリによる動的4D環境の理解には、正確なシーン再構築だけでなく、空間、時間、視点をまたいだ堅牢なセマンティックグラウンドも必要である。
ニューラル表現を用いた最近の手法では、4次元再構成が進んでいるが、特に相互作用、時間的行動、空間的関係といった複雑な意味論において、文脈的推論において制限されている。
重要な課題は、ノイズの多いビュー依存の予測をグローバルに一貫した4D解釈に変換することである。
4Dシーンでクエリ時間推論を統一するフレームワークであるPanopticQueryを紹介した。
提案手法は,高忠実度動的再構成のための4次元ガウススプラッティングを基盤として,複数のビューや時間フレームにまたがる2次元意味的予測を集約することにより,自然言語クエリを基盤とする多視点意味的コンセンサス機構を導入する。
このプロセスは、一貫性のない出力をフィルタリングし、幾何整合を強制し、2Dセマンティクスをニューラルネットワークの最適化を通じて構造化された4Dグラウンドに持ち上げる。
評価を支援するために,動的シーンにおける言語ベースのクエリのための新しいベンチマークであるPanoptic-L4Dを提案する。
実験では、PanopticQueryが複雑な言語クエリに新たな最先端を設定でき、属性、アクション、空間的関係、複数オブジェクトのインタラクションを効果的に処理できる。
ビデオデモは補足資料で見ることができる。
関連論文リスト
- Thinking in Dynamics: How Multimodal Large Language Models Perceive, Track, and Reason Dynamics in Physical 4D World [49.80040477190479]
人間は物理的4Dの世界に住み、幾何学的構造と意味的内容は時間とともに進化する。
さまざまな実世界および合成ビデオデータセットから構築された大規模ベンチマークであるDyn-Benchを紹介した。
既存のモデルでは,時間的推論と動的オブジェクトグラウンドの両面において,高い性能を同時に維持できないことがわかった。
論文 参考訳（メタデータ） (2026-03-13T07:42:16Z) - SNOW: Spatio-Temporal Scene Understanding with World Knowledge for Open-World Embodied Reasoning [11.93789125154006]
本稿では,VLMから派生したセマンティクスと点雲の幾何と時間的整合性を統合した4次元シーン理解フレームワークを提案する。
SNOWプロセスは、HDBSCANクラスタリングを使用して、同期された3Dポイントクラウドを同期し、セグメンテーション提案を生成する。
多様なベンチマークの実験により、SNOWは正確な4Dシーンの理解と空間的接地推論を可能にした。
論文 参考訳（メタデータ） (2025-12-18T12:27:06Z) - R4: Retrieval-Augmented Reasoning for Vision-Language Models in 4D Spatio-Temporal Space [11.93789125154006]
R4は、4D空間における検索強化推論のためのトレーニング不要のフレームワークである。
R4は、計量空間と時間におけるオブジェクトレベルのセマンティック記述をアンカーすることで、4Dデータベースを構築する。
推論では、自然言語クエリは意味、空間、時間キーに分解され、関連する観測値を取得する。
論文 参考訳（メタデータ） (2025-12-17T20:08:32Z) - 4DLangVGGT: 4D Language-Visual Geometry Grounded Transformer [40.29321632546414]
4DVGTは、トランスフォーマーベースの最初の4D言語グラウンドのためのフィードフォワード統合フレームワークである。
幾何学的知覚と言語アライメントを単一のアーキテクチャに統合する。
複数のダイナミックシーンを共同でトレーニングし、推論中に直接適用することができる。
論文 参考訳（メタデータ） (2025-12-04T18:15:27Z) - RAZER: Robust Accelerated Zero-Shot 3D Open-Vocabulary Panoptic Reconstruction with Spatio-Temporal Aggregation [10.067978300536486]
我々は,GPUで加速した幾何再構成をオープン語彙の視覚言語モデルとシームレスに統合するゼロショットフレームワークを開発した。
トレーニングフリーシステムは、インクリメンタル処理と統合幾何系列更新により、優れた性能を実現する。
論文 参考訳（メタデータ） (2025-05-21T11:07:25Z) - LLaVA-4D: Embedding SpatioTemporal Prompt into LMMs for 4D Scene Understanding [55.81291976637705]
視覚的4Dシーン理解のための時間的プロンプトを備えた汎用LMMフレームワークを提案する。
このプロンプトは、3D位置と1D時間を動的に認識された4D座標埋め込みに符号化することで生成される。
4次元シーン理解において,異なるタスクにまたがる手法の有効性を実証するために実験を行った。
論文 参考訳（メタデータ） (2025-05-18T06:18:57Z) - 4D LangSplat: 4D Language Gaussian Splatting via Multimodal Large Language Models [58.80200897869225]
動的シーンにおいて,時間に依存しない,あるいは時間に敏感なオープン語彙クエリを効率的に処理するために,4D言語フィールドを学習する4D LangSplatを提案する。
4D LangSplatは視覚機能から言語フィールドをバイパスし、オブジェクトワイドビデオキャプションから生成されたテキストから直接学習する。
以上の結果から、4D LangSplatは時間に敏感かつ時間に依存しないオープン語彙クエリに対して,正確かつ効率的な結果が得られることが示された。
論文 参考訳（メタデータ） (2025-03-13T14:58:22Z) - 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [115.67081491747943]
動的3Dシーン表現と新しいビュー合成はAR/VRおよびメタバースアプリケーションの実現に不可欠である。
我々は,その基礎となる4次元体積を近似として,時間変化の異なる3次元シーンの再構成を再構成する。
ストレージのボトルネックに対処するため、メモリフットプリントを効果的に削減するいくつかのコンパクトなバリエーションを導出する。
論文 参考訳（メタデータ） (2024-12-30T05:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。