論文の概要: Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video
- arxiv url: http://arxiv.org/abs/2012.12247v3
- Date: Fri, 26 Feb 2021 18:08:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-26 07:21:22.390795
- Title: Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video
- Title（参考訳）: 非線形神経放射場:モノクロ映像からの動的シーンの再構成と新しい視点合成
- Authors: Edgar Tretschk, Ayush Tewari, Vladislav Golyanik, Michael Zollh\"ofer,
Christoph Lassner, Christian Theobalt
- Abstract要約: Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
- 参考スコア（独自算出の注目度）: 76.19076002661157
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Non-Rigid Neural Radiance Fields (NR-NeRF), a reconstruction and
novel view synthesis approach for general non-rigid dynamic scenes. Our
approach takes RGB images of a dynamic scene as input, e.g., from a monocular
video recording, and creates a high-quality space-time geometry and appearance
representation. In particular, we show that even a single handheld
consumer-grade camera is sufficient to synthesize sophisticated renderings of a
dynamic scene from novel virtual camera views, for example a `bullet-time'
video effect. Our method disentangles the dynamic scene into a canonical volume
and its deformation. Scene deformation is implemented as ray bending, where
straight rays are deformed non-rigidly to represent scene motion. We also
propose a novel rigidity regression network that enables us to better constrain
rigid regions of the scene, which leads to more stable results. The ray bending
and rigidity network are trained without any explicit supervision. In addition
to novel view synthesis, our formulation enables dense correspondence
estimation across views and time, as well as compelling video editing
applications such as motion exaggeration. We demonstrate the effectiveness of
our method using extensive evaluations, including ablation studies and
comparisons to the state of the art. We urge the reader to watch the
supplemental video for qualitative results. Our code will be open sourced.
- Abstract（参考訳）: nr-nerf(non-rigid neural radiance fields)は,一般の非剛性動的シーンに対する再構成と新しい視点合成手法である。
本研究では,動的シーンのrgb画像を,例えば単眼映像記録から入力として取得し,高品質な時空間形状と外観表現を作成する。
特に,単一ハンドヘルドのコンシューマグレードカメラであっても,新しい仮想カメラビューからダイナミックシーンの高度なレンダリングを合成するのに十分であることを示す。
本手法は, 動的シーンを標準体積と変形に分解する。
シーン変形は、直線線が無拘束に変形してシーンの動きを表すレイ曲げとして実装される。
また,シーンの剛性領域をよりよく制約し,より安定した結果が得られる新しい剛性回帰ネットワークを提案する。
レイ曲げと剛性ネットワークは、明確な監督なしに訓練される。
新規なビュー合成に加えて,ビューと時間間の密接な対応推定を可能にするとともに,モーション誇張などの魅力的なビデオ編集アプリケーションも提供する。
本手法は, アブレーション研究を含む広範囲な評価と, 現状との比較により, 有効性を示す。
我々は読者に質的な結果のために補足ビデオを見るよう促す。
私たちのコードはオープンソースになります。
関連論文リスト
- D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。
我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
論文 参考訳（メタデータ） (2024-06-14T14:35:44Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳（メタデータ） (2024-01-10T23:26:41Z) - Fast View Synthesis of Casual Videos with Soup-of-Planes [24.35962788109883]
シーンのダイナミックスやパララックスの欠如といった課題のため、Wild ビデオからの新たなビュー合成は困難である。
本稿では,モノクロ映像から高品質な新規ビューを効率よく合成するために,明示的な映像表現を再考する。
本手法は,高品質で最先端の手法に匹敵する品質の動画から高品質な新奇なビューをレンダリングすると同時に,トレーニングの100倍高速でリアルタイムレンダリングを可能にする。
論文 参考訳（メタデータ） (2023-12-04T18:55:48Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - Editable Free-viewpoint Video Using a Layered Neural Representation [35.44420164057911]
我々は,スパース16カメラのみを用いた大規模ダイナミックシーンの編集可能な自由視点映像生成のための最初のアプローチを提案する。
私たちのアプローチの核心は、環境そのものを含む各動的エンティティがST-NeRFと呼ばれる時空コヒーレントな神経層放射線表現に定式化される新しい階層化された神経表現です。
実験は,ダイナミックシーンにおける高品質,フォトリアリスティック,編集可能な自由視点映像生成を実現するための手法の有効性を示す。
論文 参考訳（メタデータ） (2021-04-30T06:50:45Z) - Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。
私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
論文 参考訳（メタデータ） (2020-11-26T01:23:44Z) - NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
本稿では,複雑なシーンの新たなビューを合成する手法を提案する。
提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。
ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
論文 参考訳（メタデータ） (2020-03-19T17:57:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。