論文の概要: OSN: Infinite Representations of Dynamic 3D Scenes from Monocular Videos

• arxiv url: http://arxiv.org/abs/2407.05615v1
• Date: Mon, 8 Jul 2024 05:03:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 17:00:01.932328
• Title: OSN: Infinite Representations of Dynamic 3D Scenes from Monocular Videos
• Title（参考訳）: OSN:モノクロ映像からのダイナミックな3Dシーンの無限表現
• Authors: Ziyang Song, Jinxi Li, Bo Yang,
• Abstract要約: モノクラーRGBビデオから基礎となる動的3Dシーンの表現を復元することは、長い間困難であった。 我々はOSNと呼ばれる新しいフレームワークを導入し、入力ビデオにマッチする高機能な3Dシーン構成を学習する。 本手法は, きめ細かい3次元シーン形状を学習する上で, 明らかな優位性を示す。
• 参考スコア（独自算出の注目度）: 7.616167860385134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has long been challenging to recover the underlying dynamic 3D scene representations from a monocular RGB video. Existing works formulate this problem into finding a single most plausible solution by adding various constraints such as depth priors and strong geometry constraints, ignoring the fact that there could be infinitely many 3D scene representations corresponding to a single dynamic video. In this paper, we aim to learn all plausible 3D scene configurations that match the input video, instead of just inferring a specific one. To achieve this ambitious goal, we introduce a new framework, called OSN. The key to our approach is a simple yet innovative object scale network together with a joint optimization module to learn an accurate scale range for every dynamic 3D object. This allows us to sample as many faithful 3D scene configurations as possible. Extensive experiments show that our method surpasses all baselines and achieves superior accuracy in dynamic novel view synthesis on multiple synthetic and real-world datasets. Most notably, our method demonstrates a clear advantage in learning fine-grained 3D scene geometry. Our code and data are available at https://github.com/vLAR-group/OSN
• Abstract（参考訳）: モノクラーRGBビデオから基礎となる動的3Dシーンの表現を復元することは、長い間困難であった。 既存の研究は、単一のダイナミックビデオに対応する無限に多くの3Dシーン表現が存在するという事実を無視して、深さの先行値や強い幾何学的制約などの様々な制約を加えることで、この問題を1つの最も妥当な解を見つけることに公式化している。 本稿では,入力映像にマッチする3Dシーン構成を,特定の映像を推測する代わりに学習することを目的とする。 この野心的な目標を達成するために、OSNと呼ばれる新しいフレームワークを導入します。 我々のアプローチの鍵は、シンプルだが革新的なオブジェクトスケールネットワークと、動的3Dオブジェクトごとに正確なスケール範囲を学習するための共同最適化モジュールである。 これにより、できるだけ多くの忠実な3Dシーン構成をサンプリングすることができます。 大規模な実験により,本手法はすべてのベースラインを超越し,複数の合成および実世界のデータセット上での動的新規ビュー合成において優れた精度が得られることが示された。 また,本手法は細粒度3次元シーン形状の学習において明らかな優位性を示す。 私たちのコードとデータはhttps://github.com/vLAR-group/OSNで公開されています。

関連論文リスト

• Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
  制御可能な単分子動的ビュー合成パイプラインを提案する。 我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。 私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
  論文  参考訳（メタデータ） (2024-05-23T17:59:52Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• BerfScene: Bev-conditioned Equivariant Radiance Fields for Infinite 3D Scene Generation [96.58789785954409]
  本研究では,同変放射場と鳥眼視図のガイダンスを組み込んだ実用的で効率的な3次元表現を提案する。 局所的なシーンを合成し、スムーズな一貫性で縫い合わせることで、大規模で無限スケールの3Dシーンを作ります。
  論文  参考訳（メタデータ） (2023-12-04T18:56:10Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• SGAligner : 3D Scene Alignment with Scene Graphs [84.01002998166145]
  3Dシーングラフの構築は、いくつかの具体的AIアプリケーションのためのシーン表現のトピックとして登場した。 オーバーラップ可能な3次元シーングラフのペアをゼロから部分的に整列させるという基本的な問題に着目する。 そこで我々はSGAlignerを提案する。SGAlignerは3次元シーングラフのペアを組合わせるための最初の方法であり、その組込みシナリオに対して堅牢である。
  論文  参考訳（メタデータ） (2023-04-28T14:39:22Z)
• SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving [98.74706005223685]
  3Dシーン理解は、視覚に基づく自動運転において重要な役割を果たす。 マルチカメラ画像を用いたSurroundOcc法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T17:59:08Z)
• Unsupervised Volumetric Animation [54.52012366520807]
  非剛性変形物体の教師なし3次元アニメーションのための新しい手法を提案する。 本手法は,RGBビデオのみからオブジェクトの3次元構造とダイナミックスを学習する。 我々は,本モデルを用いて,単一ボリュームまたは少数の画像からアニマタブルな3Dオブジェクトを得ることができることを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:54Z)
• Learning 3D Scene Priors with 2D Supervision [37.79852635415233]
  本研究では,3次元の地平を必要とせず,レイアウトや形状の3次元シーンを学習するための新しい手法を提案する。 提案手法は, 3次元シーンを潜在ベクトルとして表現し, クラスカテゴリを特徴とするオブジェクト列に段階的に復号化することができる。 3D-FRONT と ScanNet による実験により,本手法は単一視点再構成における技術状況よりも優れていた。
  論文  参考訳（メタデータ） (2022-11-25T15:03:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。