論文の概要: Unsupervised Object-Centric Voxelization for Dynamic Scene Understanding
- arxiv url: http://arxiv.org/abs/2305.00393v3
- Date: Tue, 30 May 2023 03:34:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 11:55:11.166210
- Title: Unsupervised Object-Centric Voxelization for Dynamic Scene Understanding
- Title（参考訳）: 動的シーン理解のための教師なしオブジェクト中心ボクセル化
- Authors: Siyu Gao, Yanpeng Zhao, Yunbo Wang, Xiaokang Yang
- Abstract要約: ニューラルレンダリングフレームワークでオブジェクト中心の容積表現を学習する逆グラフィックスアプローチであるDynaVolを提案する。
DynaVolは、異なるオブジェクトに属する各空間位置の確率を明示する時間変化の3Dボクセルグリッドを維持している。
ボリューム機能を最適化するために、完全に微分可能なニューラルネットワークにそれらを埋め込み、オブジェクト中心のグローバルな特徴に結合し、シーン再構築のために合成NeRFを駆動する。
- 参考スコア（独自算出の注目度）: 68.09712835476107
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the compositional dynamics of multiple objects in unsupervised
visual environments is challenging, and existing object-centric representation
learning methods often ignore 3D consistency in scene decomposition. We propose
DynaVol, an inverse graphics approach that learns object-centric volumetric
representations in a neural rendering framework. DynaVol maintains time-varying
3D voxel grids that explicitly represent the probability of each spatial
location belonging to different objects, and decouple temporal dynamics and
spatial information by learning a canonical-space deformation field. To
optimize the volumetric features, we embed them into a fully differentiable
neural network, binding them to object-centric global features and then driving
a compositional NeRF for scene reconstruction. DynaVol outperforms existing
methods in novel view synthesis and unsupervised scene decomposition and allows
for the editing of dynamic scenes, such as adding, deleting, replacing objects,
and modifying their trajectories.
- Abstract（参考訳）: 教師なし視覚環境における複数物体の構成ダイナミクスを理解することは困難であり、既存のオブジェクト中心表現学習法はシーン分解における3次元一貫性をしばしば無視する。
ニューラルレンダリングフレームワークでオブジェクト中心の容積表現を学習する逆グラフィックスアプローチであるDynaVolを提案する。
DynaVolは、異なるオブジェクトに属する各空間位置の確率を明確に表した時間変化の3Dボクセルグリッドを維持し、標準空間変形場を学習することで時間的ダイナミクスと空間情報を分離する。
ボリューム機能を最適化するために、完全に微分可能なニューラルネットワークにそれらを埋め込み、オブジェクト中心のグローバルな特徴に結合し、シーン再構築のために合成NeRFを駆動する。
dynavolは、新しいビュー合成と教師なしのシーン分解で既存のメソッドを上回り、動的シーンの追加、削除、オブジェクトの置換、それらのトラジェクタの変更などの編集を可能にする。
関連論文リスト
- Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。
ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。
提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
論文 参考訳（メタデータ） (2024-07-30T15:33:58Z) - Variational Inference for Scalable 3D Object-centric Learning [19.445804699433353]
我々は3Dシーンにおける拡張性のないオブジェクト中心表現学習の課題に取り組む。
オブジェクト中心表現学習への既存のアプローチは、より大きなシーンに一般化する際の限界を示している。
局所オブジェクト座標系におけるビュー不変3次元オブジェクト表現の学習を提案する。
論文 参考訳（メタデータ） (2023-09-25T10:23:40Z) - Neural Groundplans: Persistent Neural Scene Representations from a
Single Image [90.04272671464238]
本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。
本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
論文 参考訳（メタデータ） (2022-07-22T17:41:24Z) - Object Scene Representation Transformer [56.40544849442227]
オブジェクトシーン表現変換(OSRT: Object Scene Representation Transformer)は、新しいビュー合成を通じて、個々のオブジェクト表現が自然に現れる3D中心のモデルである。
OSRTは、既存のメソッドよりもオブジェクトとバックグラウンドの多様性が大きい、はるかに複雑なシーンにスケールする。
光電場パラメトリゼーションと新しいSlot Mixerデコーダのおかげで、合成レンダリングでは桁違いに高速である。
論文 参考訳（メタデータ） (2022-06-14T15:40:47Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳（メタデータ） (2021-07-08T17:49:37Z) - Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using
Deep Shape Priors [69.02332607843569]
PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。
リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。
我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
論文 参考訳（メタデータ） (2020-10-08T14:49:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。