論文の概要: Unsupervised Object-Centric Voxelization for Dynamic Scene Understanding

• arxiv url: http://arxiv.org/abs/2305.00393v2
• Date: Sun, 28 May 2023 06:15:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 00:41:24.457485
• Title: Unsupervised Object-Centric Voxelization for Dynamic Scene Understanding
• Title（参考訳）: 動的シーン理解のための教師なしオブジェクト中心ボクセル化
• Authors: Siyu Gao, Yanpeng Zhao, Yunbo Wang, Xiaokang Yang
• Abstract要約: 動的シーンの時間変化表現を学習するための逆ニューラルネットワークレンダリングフレームワークDynaVolを提案する。 時間依存の3Dグリッドを維持しており、動的かつ柔軟に空間位置を異なるエンティティに結合する。 我々はDynaVolの2段階のトレーニング手法を提案し、複数のオブジェクト、多様なダイナミクス、現実世界のテクスチャを持つ様々なベンチマークでその有効性を検証する。
• 参考スコア（独自算出の注目度）: 68.09712835476107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the compositional dynamics of the world in unsupervised 3D scenarios is challenging. Existing approaches either fail to make effective use of time cues or ignore the multi-view consistency of scene decomposition. In this paper, we propose DynaVol, an inverse neural rendering framework that provides a pilot study for learning time-varying volumetric representations for dynamic scenes with multiple entities (like objects). It has two main contributions. First, it maintains a time-dependent 3D grid, which dynamically and flexibly binds the spatial locations to different entities, thus encouraging the separation of information at a representational level. Second, our approach jointly learns grid-level local dynamics, object-level global dynamics, and the compositional neural radiance fields in an end-to-end architecture, thereby enhancing the spatiotemporal consistency of object-centric scene voxelization. We present a two-stage training scheme for DynaVol and validate its effectiveness on various benchmarks with multiple objects, diverse dynamics, and real-world shapes and textures. We present visualization at https://sites.google.com/view/dynavol-visual.
• Abstract（参考訳）: 教師なしの3Dシナリオで世界の構成力学を理解することは難しい。 既存のアプローチでは、タイムキューを効果的に利用できないか、シーン分解のマルチビュー一貫性を無視している。 本稿では,複数の実体(オブジェクトなど)を持つ動的シーンの時間変化容積表現をパイロットで学習するための,逆ニューラルネットワークレンダリングフレームワークであるDynaVolを提案する。 主な貢献は2つある。 まず、時間依存の3Dグリッドを維持し、空間的位置を異なるエンティティに動的かつ柔軟に結合し、表現レベルで情報の分離を促進する。 第2に, グリッドレベルの局所力学, オブジェクトレベルの大域的力学, 構成的ニューラルラジアンス場をエンドツーエンドアーキテクチャで共同学習することにより, オブジェクト中心のシーンボキセル化の時空間的一貫性を向上させる。 ダイナボリの2段階のトレーニングスキームを提示し,マルチオブジェクト,多様なダイナミクス,実世界の形状とテクスチャを用いた様々なベンチマークでの有効性を検証する。 可視化はhttps://sites.google.com/view/dynavol-visual.comで行います。

関連論文リスト

• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• Variational Inference for Scalable 3D Object-centric Learning [19.445804699433353]
  我々は3Dシーンにおける拡張性のないオブジェクト中心表現学習の課題に取り組む。 オブジェクト中心表現学習への既存のアプローチは、より大きなシーンに一般化する際の限界を示している。 局所オブジェクト座標系におけるビュー不変3次元オブジェクト表現の学習を提案する。
  論文  参考訳（メタデータ） (2023-09-25T10:23:40Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Object Scene Representation Transformer [56.40544849442227]
  オブジェクトシーン表現変換(OSRT: Object Scene Representation Transformer)は、新しいビュー合成を通じて、個々のオブジェクト表現が自然に現れる3D中心のモデルである。 OSRTは、既存のメソッドよりもオブジェクトとバックグラウンドの多様性が大きい、はるかに複雑なシーンにスケールする。 光電場パラメトリゼーションと新しいSlot Mixerデコーダのおかげで、合成レンダリングでは桁違いに高速である。
  論文  参考訳（メタデータ） (2022-06-14T15:40:47Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)
• Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors [69.02332607843569]
  PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。 リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。 我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
  論文  参考訳（メタデータ） (2020-10-08T14:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。