論文の概要: DyST: Towards Dynamic Neural Scene Representations on Real-World Videos

• arxiv url: http://arxiv.org/abs/2310.06020v1
• Date: Mon, 9 Oct 2023 18:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 02:25:15.716095
• Title: DyST: Towards Dynamic Neural Scene Representations on Real-World Videos
• Title（参考訳）: DyST: リアルタイムビデオにおける動的ニューラルシーン表現に向けて
• Authors: Maximilian Seitzer, Sjoerd van Steenkiste, Thomas Kipf, Klaus Greff, Mehdi S. M. Sajjadi
• Abstract要約: モノクラー・リアル・ワールド・ビデオから現実のシーンの3次元構造とダイナミックスの両方を捉えることを目的としている。 我々のDynamic Scene Transformer (DyST) モデルは、モノクラー・リアル・ワールド・ビデオのシーンコンテンツへの遅延分解を学習する。
• 参考スコア（独自算出の注目度）: 25.11371858009974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual understanding of the world goes beyond the semantics and flat structure of individual images. In this work, we aim to capture both the 3D structure and dynamics of real-world scenes from monocular real-world videos. Our Dynamic Scene Transformer (DyST) model leverages recent work in neural scene representation to learn a latent decomposition of monocular real-world videos into scene content, per-view scene dynamics, and camera pose. This separation is achieved through a novel co-training scheme on monocular videos and our new synthetic dataset DySO. DyST learns tangible latent representations for dynamic scenes that enable view generation with separate control over the camera and the content of the scene.
• Abstract（参考訳）: 世界の視覚的理解は、個々のイメージのセマンティクスや平らな構造を越えている。 本研究では,モノクロ映像から実世界の3次元構造とダイナミックスを捉えることを目的とする。 我々のダイナミックシーントランスフォーマー(DyST)モデルは、ニューラルシーン表現における最近の研究を活用して、モノクロの実世界のビデオのシーンコンテンツ、ビュー毎のシーンダイナミックス、カメラポーズへの遅延分解を学ぶ。 この分離は単眼ビデオと新しい合成データセットdysoによる新しい共同学習方式によって達成されている。 DySTは、カメラとシーンの内容を別々に制御したビュー生成を可能にする動的シーンの具体的な潜在表現を学習する。

関連論文リスト

• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• DRSM: efficient neural 4d decomposition for dynamic reconstruction in stationary monocular cameras [21.07910546072467]
  モノクロカメラにおける動的シーンの4次元分解問題に対処するための新しい枠組みを提案する。 本フレームワークでは,分解された静的・動的特徴面を用いて4次元シーンを表現し,高密度光線キャスティングによる動的領域の学習を強調する。
  論文  参考訳（メタデータ） (2024-02-01T16:38:51Z)
• Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [50.93409250217699]
  動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。 具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
  論文  参考訳（メタデータ） (2023-04-04T11:25:44Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• An Exploration of Neural Radiance Field Scene Reconstruction: Synthetic, Real-world and Dynamic Scenes [1.5855686282251258]
  我々は、ニューラルネットワークプリミティブのトレーニングとレンダリング時間の短縮を利用して、静的なビデオゲームシーンや実世界のシーンを再構築する。 我々はD-NeRFの実装を拡張し、合成シーンを現実の動的シーンも扱うように制約した。
  論文  参考訳（メタデータ） (2022-10-21T21:51:17Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
  本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。 私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。 我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
  論文  参考訳（メタデータ） (2020-11-26T01:23:44Z)
• Neural Scene Graphs for Dynamic Scenes [57.65413768984925]
  動的シーンをシーングラフに分解する最初のニューラルレンダリング手法を提案する。 我々は暗黙的に符号化されたシーンと、単一の暗黙の関数でオブジェクトを記述するために共同で学習された潜在表現を組み合わせる。
  論文  参考訳（メタデータ） (2020-11-20T12:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。