論文の概要: SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes

• arxiv url: http://arxiv.org/abs/2308.08258v1
• Date: Wed, 16 Aug 2023 09:50:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 13:53:01.826698
• Title: SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes
• Title（参考訳）: SceNeRFlow: 一般的な動的シーンの時間持続的再構成
• Authors: Edith Tretschk, Vladislav Golyanik, Michael Zollhoefer, Aljaz Bozic, Christoph Lassner, Christian Theobalt
• Abstract要約: 我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
• 参考スコア（独自算出の注目度）: 75.9110646062442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing methods for the 4D reconstruction of general, non-rigidly deforming objects focus on novel-view synthesis and neglect correspondences. However, time consistency enables advanced downstream tasks like 3D editing, motion analysis, or virtual-asset creation. We propose SceNeRFlow to reconstruct a general, non-rigid scene in a time-consistent manner. Our dynamic-NeRF method takes multi-view RGB videos and background images from static cameras with known camera parameters as input. It then reconstructs the deformations of an estimated canonical model of the geometry and appearance in an online fashion. Since this canonical model is time-invariant, we obtain correspondences even for long-term, long-range motions. We employ neural scene representations to parametrize the components of our method. Like prior dynamic-NeRF methods, we use a backwards deformation model. We find non-trivial adaptations of this model necessary to handle larger motions: We decompose the deformations into a strongly regularized coarse component and a weakly regularized fine component, where the coarse component also extends the deformation field into the space surrounding the object, which enables tracking over time. We show experimentally that, unlike prior work that only handles small motion, our method enables the reconstruction of studio-scale motions.
• Abstract（参考訳）: 一般的な非剛性物体の4次元再構成のための既存の手法は、新規なビュー合成と無視対応に焦点を当てている。 しかし、時間一貫性は、3D編集、モーション分析、仮想アセット作成といった高度な下流タスクを可能にする。 我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 我々の動的NeRF法は、静止カメラからのマルチビューRGBビデオと背景画像を、既知のカメラパラメータを入力として取り込む。 その後、オンライン形式で幾何学と外観の推定正準モデルの変形を再構築する。 この標準モデルは時間不変であるため、長期の長距離運動に対しても対応性が得られる。 本手法のコンポーネントをパラメータ化するために,ニューラルシーン表現を用いる。 従来の動的NeRF法と同様に、後方変形モデルを用いる。 変形を強正則化された粗い成分と弱正則化された微細成分に分解し、粗い成分が物体を囲む空間に変形場を拡張し、時間とともに追跡できるようにする。 実験により,小動作のみを扱う先行作業とは異なり,本手法がスタジオスケール動作の再構築を可能にすることを示す。

関連論文リスト

• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• TFS-NeRF: Template-Free NeRF for Semantic 3D Reconstruction of Dynamic Scene [25.164085646259856]
  本稿では,スパースやシングルビューRGBビデオから捉えたダイナミックシーンのための3DセマンティックNeRFを提案する。 我々のフレームワークは、トレーニングプロセスであるLBS予測にInvertible Neural Network(INN)を使用している。 本手法は, 複雑な相互作用において, 変形性オブジェクトと非変形性オブジェクトの両方を高品質に再構成する。
  論文  参考訳（メタデータ） (2024-09-26T01:34:42Z)
• CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images [12.603775893040972]
  画像のぼやけた画像からリアルタイムレンダリング速度で正確な3Dシーンを再構成するために, 連続的な剛性運動対応ガウススプラッティング(CRiM-GS)を提案する。 我々は、剛体変換を利用して、物体の形状と大きさを保存し、適切な正則化でカメラの動きをモデル化する。 さらに,textitSE(3)フィールドに連続的な変形可能な3次元変換を導入し,剛体変換を実世界の問題に適用する。
  論文  参考訳（メタデータ） (2024-07-04T13:37:04Z)
• Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
  ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。 まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。 動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
  論文  参考訳（メタデータ） (2024-01-10T23:26:41Z)
• Physics-guided Shape-from-Template: Monocular Video Perception through Neural Surrogate Models [4.529832252085145]
  トレーニング済みニューラルネットワークを用いた布のSfT再構成アルゴリズムを提案する。 シミュレーションメッシュの異なるレンダリングにより、再構成と対象のビデオシーケンスの画素ワイズ比較が可能になる。 これにより、$phi$-SfTに比べて400-500の係数でランタイムを削減しつつ、正確で安定した、スムーズな再構築された幾何を維持することができる。
  論文  参考訳（メタデータ） (2023-11-21T18:59:58Z)
• Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting [8.078460597825142]
  2次元画像から動的3Dシーンを再構成し、時間とともに多様なビューを生成することは、シーンの複雑さと時間的ダイナミクスのために困難である。 本研究では、4次元プリミティブの集合を明示的な幾何学と外観モデルを用いて最適化することにより、動的シーンの基本的な時間的レンダリング量を近似することを提案する。 我々のモデルは概念的に単純であり、異方性楕円によってパラメータ化され、空間と時間で任意に回転する4次元ガウスのパラメータと、4次元球面調和係数で表されるビュー依存および時間進化の外観から構成される。
  論文  参考訳（メタデータ） (2023-10-16T17:57:43Z)
• NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
  本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。 実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
  論文  参考訳（メタデータ） (2022-10-22T04:57:55Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• MoCo-Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary Monocular Cameras [98.40768911788854]
  4次元連続時間変動関数を用いて動的シーンをモデル化する表現であるMoCo-Flowを紹介する。 私たちの研究の中心には、運動フロー上の運動コンセンサス正規化によって制約される、新しい最適化の定式化がある。 複雑度の異なる人間の動きを含む複数のデータセット上でMoCo-Flowを広範囲に評価した。
  論文  参考訳（メタデータ） (2021-06-08T16:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。