論文の概要: Streaming Gaussian Encoding for 4D Panoptic Occupancy Tracking
- arxiv url: http://arxiv.org/abs/2606.30754v1
- Date: Mon, 29 Jun 2026 18:00:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:18.961093
- Title: Streaming Gaussian Encoding for 4D Panoptic Occupancy Tracking
- Title（参考訳）: 4次元パノプティクスのガウス符号化
- Abstract要約: カメラベースの4D-POTは、多視点画像から全体像を理解するための有望なパラダイムである。
最近のマスクベースのパイプラインは、フレーム間でインスタンスクエリを伝搬することで、強力なパフォーマンスを実現している。
本研究では、4D-POTの永続的なシーン表現を維持するストリーミングガウスエンコーダを提案する。
- 参考スコア（独自算出の注目度）: 15.311099668839665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Camera-based 4D panoptic occupancy tracking (4D-POT) is a promising paradigm for holistic scene understanding from multi-view imagery, enabling joint reasoning about geometry, semantics, and object identities across time. Recent mask-based pipelines achieve strong performance by propagating instance queries across frames. However, their underlying volumetric representations are typically recomputed at each timestep, limiting geometric temporal consistency, particularly under occlusion and for static scene elements. To address this limitation, we propose a streaming Gaussian encoder that maintains a persistent volumetric scene representation for 4D-POT. Our method models the scene as a fixed-size set of latent Gaussian queries that are propagated via ego-motion compensation and refreshed under a confidence-guided budget constraint. Crucially, we shape Gaussian opacities through depth-based supervision to serve as proxy for visibility, enabling confidence to accumulate as a temporally aggregated measure of persistent scene support. Together with a warmup-based multi-frame training strategy, this yields representation-level temporal coherence beyond decoder-only tracking. Extensive experiments on Occ3D-extended nuScenes and Waymo establish a new state-of-the-art for camera-based 4D-POT, improving tracking consistency with negligible computational overhead while remaining fully compatible with existing mask-based pipelines. We provide code and models at https://sge.cs.uni-freiburg.de.
- Abstract（参考訳）: 4D-POT(4D-POT)は、多視点画像から全体像を理解するための有望なパラダイムであり、幾何学、セマンティクス、オブジェクトのアイデンティティに関する共同推論を可能にする。
最近のマスクベースのパイプラインは、フレーム間でインスタンスクエリを伝搬することで、強力なパフォーマンスを実現している。
しかし、その基礎となる容積表現は典型的には各段階で再計算され、幾何学的時間的整合性、特に閉塞下および静的なシーン要素に制限される。
この制限に対処するために、4D-POTの永続的なボリュームシーン表現を保持するストリーミングガウスエンコーダを提案する。
提案手法は,エゴモーション補償によって伝播し,信頼度の高い予算制約の下でリフレッシュされる,潜時ガウス問合せの固定サイズ集合としてシーンをモデル化する。
重要なこととして、我々は奥行きに基づく監視を通じてガウスの不透明度を形成させ、永続的なシーンサポートの時間的集約尺度として信頼度を蓄積する。
ウォームアップベースのマルチフレームトレーニング戦略と合わせて、デコーダのみのトラッキング以上の表現レベルの時間的コヒーレンスが得られる。
Occ3Dの拡張したnuScenesとWaymoの広範な実験は、カメラベースの4D-POTのための新しい最先端技術を確立し、既存のマスクベースのパイプラインとの完全な互換性を維持しながら、無視可能な計算オーバーヘッドによるトラッキング一貫性を改善している。
私たちはhttps://sge.cs.uni-freiburg.deでコードとモデルを提供しています。
関連論文リスト
- Learning Global Motion with Compact Gaussians for Feed-Forward 4D Reconstruction [49.87425331212591]
我々は、タイムスタンプ条件付き学習可能なガウスクエリトークンのコンパクトなセット上に構築されたフィードフォワード4D再構成フレームワークであるC4Gを提案する。
C4Gはガウシアンをはるかに少なく、カメラのポーズを必要とせず、強力なノベルビュー合成性能を実現する。
論文 参考訳（メタデータ） (2026-05-29T17:57:41Z) - GemDepth: Geometry-Embedded Features for 3D-Consistent Video Depth [12.866152238833104]
ビデオ深度推定は、一眼的予測を時間領域に拡張し、コヒーレンスを確保する。
現在のアプローチは主にトランスフォーマーによる時間的平滑化に依存しており、厳密な3次元幾何学的整合性を維持するのに苦労している。
GemDepthは,カメラモーションとグローバル3D構造を明確に認識することが3D一貫性の前提条件である,という知見に基づいて構築されたフレームワークである。
論文 参考訳（メタデータ） (2026-05-11T13:11:54Z) - RetimeGS: Continuous-Time Reconstruction of 4D Gaussian Splatting [9.254380348086135]
テンポラリリタイピングは、スローモーション再生、テンポラリ編集、ポストプロダクションといったアプリケーションには不可欠である。
既存の4D Gaussian Splatting (4DGS) メソッドは、離散フレームのインデックスに過度に適合するが、連続時間フレームの表現に苦慮し、タイムスタンプ間の補間時にゴーストアーティファクトに繋がる。
本稿では,3次元ガウスの時間的挙動を明確に定義し,時間的エイリアスを実現するシンプルな4DGS表現であるRetimeGSを提案する。
論文 参考訳（メタデータ） (2026-03-14T06:26:27Z) - Latent Gaussian Splatting for 4D Panoptic Occupancy Tracking [17.16370461224889]
動的環境下でのロボットの安全かつ信頼性の高い動作には,4次元時間トラッキングが不可欠である。
本稿では,4次元パノプティカル占有追跡のためのラテントガウススプラッティングについて述べる。
私たちはhttps://lags.cs.uni-freiburg.de/でコードを公開しています。
論文 参考訳（メタデータ） (2026-02-26T16:34:49Z) - EVolSplat4D: Efficient Volume-based Gaussian Splatting for 4D Urban Scene Synthesis [43.898895514609286]
EvolSplat4Dは、ボリュームベースとピクセルベースのガウス予測を統合することで、既存のピクセル単位のパラダイムを超えたフィードフォワードフレームワークである。
EvolSplat4Dは静的環境と動的環境の両方を高い精度と一貫性で再構成し、シーンごとの最適化と最先端のフィードフォワードベースラインの両方に優れることを示す。
論文 参考訳（メタデータ） (2026-01-22T13:39:29Z) - Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models [79.06910348413861]
Diff4Splatは、単一の画像から制御可能で明示的な4Dシーンを合成するフィードフォワード方式である。
単一の入力画像、カメラ軌跡、オプションのテキストプロンプトが与えられた場合、Diff4Splatは外見、幾何学、動きを符号化する変形可能な3Dガウス場を直接予測する。
論文 参考訳（メタデータ） (2025-11-01T11:16:25Z) - 4D Driving Scene Generation With Stereo Forcing [62.47705572424127]
現在の生成モデルは、時間外挿と空間的新規ビュー合成(NVS)をシーンごとの最適化なしで同時にサポートする動的4D駆動シーンの合成に苦慮している。
PhiGenesisは、幾何学的・時間的整合性を持った映像生成技術を拡張する4次元シーン生成のための統合フレームワークである。
論文 参考訳（メタデータ） (2025-09-24T15:37:17Z) - Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。
我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。
結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
論文 参考訳（メタデータ） (2025-03-26T17:59:44Z) - Driv3R: Learning Dense 4D Reconstruction for Autonomous Driving [116.10577967146762]
マルチビュー画像シーケンスからフレーム単位のポイントマップを直接回帰するフレームワークであるDriv3Rを提案する。
我々は4次元フロー予測器を用いてシーン内の移動物体を識別し、これらの動的領域の再構築をより重視する。
Driv3Rは4D動的シーン再構築において従来のフレームワークより優れており、推論速度は15倍高速である。
論文 参考訳（メタデータ） (2024-12-09T18:58:03Z) - 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
textbf4DGenは、4Dコンテンツ作成のための新しいフレームワークである。
我々のパイプラインは、制御可能な4D生成を容易にし、ユーザがモノクロビデオで動きを指定したり、画像から映像への世代を適用できる。
既存のビデオから4Dのベースラインと比較すると,入力信号の忠実な再構成には優れた結果が得られる。
論文 参考訳（メタデータ） (2023-12-28T18:53:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。