論文の概要: Consistent Instance Field for Dynamic Scene Understanding
- arxiv url: http://arxiv.org/abs/2512.14126v1
- Date: Tue, 16 Dec 2025 06:12:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-17 16:49:26.614567
- Title: Consistent Instance Field for Dynamic Scene Understanding
- Title（参考訳）: 動的シーン理解のための一貫性のあるインスタンスフィールド
- Authors: Junyi Wu, Van Nguyen Nguyen, Benjamin Planche, Jiachen Tao, Changchang Sun, Zhongpai Gao, Zhenghao Zhao, Anwesa Choudhuri, Gengyu Zhang, Meng Zheng, Feiran Wang, Terrence Chen, Yan Yan, Ziyan Wu,
- Abstract要約: 本稿では,動的シーン理解のための連続的・確率的時間的表現であるConsistent Instance Fieldを紹介する。
提案手法は,各時空点を占有確率と条件分布でモデル化することにより,永続オブジェクトの同一性から遠ざかっている。
- 参考スコア（独自算出の注目度）: 33.531802145968825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Consistent Instance Field, a continuous and probabilistic spatio-temporal representation for dynamic scene understanding. Unlike prior methods that rely on discrete tracking or view-dependent features, our approach disentangles visibility from persistent object identity by modeling each space-time point with an occupancy probability and a conditional instance distribution. To realize this, we introduce a novel instance-embedded representation based on deformable 3D Gaussians, which jointly encode radiance and semantic information and are learned directly from input RGB images and instance masks through differentiable rasterization. Furthermore, we introduce new mechanisms to calibrate per-Gaussian identities and resample Gaussians toward semantically active regions, ensuring consistent instance representations across space and time. Experiments on HyperNeRF and Neu3D datasets demonstrate that our method significantly outperforms state-of-the-art methods on novel-view panoptic segmentation and open-vocabulary 4D querying tasks.
- Abstract（参考訳）: 本稿では,動的シーン理解のための連続的かつ確率的な時空間表現であるConsistent Instance Fieldを紹介する。
離散的なトラッキングやビュー依存機能に依存する従来の手法とは異なり、我々のアプローチは、各時空点を占有確率と条件付きインスタンス分布でモデル化することで、永続的なオブジェクト識別から可視性を切り離す。
これを実現するために、変形可能な3Dガウスアンに基づく新しいインスタンス埋め込み表現を導入し、ラディアンスと意味情報を共同で符号化し、入力されたRGB画像とインスタンスマスクから微分可能なラスタライズを通して直接学習する。
さらに、ガウス単位のアイデンティティを校正し、ガウスを意味的に活発な領域に再サンプリングする新しいメカニズムを導入し、空間と時間にわたって一貫したインスタンス表現を確保する。
HyperNeRFおよびNeu3Dデータセットを用いた実験により,本手法は新規なパノプティクスセグメンテーションとオープンボキャブラリ4Dクエリータスクにおいて,最先端の手法を著しく上回っていることが示された。
関連論文リスト
- Cross-Modal Geometric Hierarchy Fusion: An Implicit-Submap Driven Framework for Resilient 3D Place Recognition [9.411542547451193]
本稿では,密度に依存しない幾何学的推論により3次元位置認識を再定義するフレームワークを提案する。
具体的には、元のシーンポイント雲密度の干渉に免疫する弾性点に基づく暗黙の3次元表現を導入する。
これら2種類の情報を活用することで,鳥眼視と3Dセグメントの両視点から幾何学的情報を融合する記述子を得る。
論文 参考訳（メタデータ） (2025-06-17T07:04:07Z) - EgoSplat: Open-Vocabulary Egocentric Scene Understanding with Language Embedded 3D Gaussian Splatting [108.15136508964011]
EgoSplatは、オープン・ボキャブラリ・エゴセントリック・シーン理解のための3Dガウス・スプレイティング・フレームワークである。
EgoSplatは2つのデータセット上のローカライゼーションタスクとセグメンテーションタスクの両方において、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-03-14T12:21:26Z) - InstanceGaussian: Appearance-Semantic Joint Gaussian Representation for 3D Instance-Level Perception [17.530797215534456]
3Dシーンの理解は、自動運転、ロボティクス、拡張現実の応用において重要な研究領域となっている。
本稿では,インスタンスを適応的に集約しながら外観や意味的特徴を共同学習する InstanceGaussian を提案する。
提案手法は,カテゴリーに依存しないオープンボキャブラリ3次元点分割における最先端性能を実現する。
論文 参考訳（メタデータ） (2024-11-28T16:08:36Z) - Reconstructing Spatiotemporal Data with C-VAEs [49.1574468325115]
移動領域の条件付き連続表現は一般的に用いられる。
本研究では,条件変数自動エンコーダ(C-VAE)モデルを用いて,領域の進化を現実的に表現する機能について検討する。
論文 参考訳（メタデータ） (2023-07-12T15:34:10Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳（メタデータ） (2021-08-30T19:45:07Z) - Object-Centric Multi-View Aggregation [86.94544275235454]
本稿では,オブジェクトのスパースなビュー集合を集約して,半単純3次元表現を容積特徴格子の形で計算する手法を提案する。
我々のアプローチの鍵となるのは、カメラのポーズを明示することなく、ビューを持ち上げることができるオブジェクト中心の標準3D座標システムである。
画素から標準座標系への対称対応マッピングの計算により、未知の領域への情報伝達がより良くなることを示す。
論文 参考訳（メタデータ） (2020-07-20T17:38:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。