論文の概要: Space-time Neural Irradiance Fields for Free-Viewpoint Video

• arxiv url: http://arxiv.org/abs/2011.12950v2
• Date: Fri, 18 Jun 2021 20:42:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 03:13:45.405984
• Title: Space-time Neural Irradiance Fields for Free-Viewpoint Video
• Title（参考訳）: 自由視点映像のための時空間ニューラル照度場
• Authors: Wenqi Xian, Jia-Bin Huang, Johannes Kopf, Changil Kim
• Abstract要約: 本稿では,1つのビデオから動的シーンのニューラル照度場を学習する手法を提案する。 私たちの学習した表現は、入力ビデオのフリービューレンダリングを可能にします。
• 参考スコア（独自算出の注目度）: 54.436478702701244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method that learns a spatiotemporal neural irradiance field for dynamic scenes from a single video. Our learned representation enables free-viewpoint rendering of the input video. Our method builds upon recent advances in implicit representations. Learning a spatiotemporal irradiance field from a single video poses significant challenges because the video contains only one observation of the scene at any point in time. The 3D geometry of a scene can be legitimately represented in numerous ways since varying geometry (motion) can be explained with varying appearance and vice versa. We address this ambiguity by constraining the time-varying geometry of our dynamic scene representation using the scene depth estimated from video depth estimation methods, aggregating contents from individual frames into a single global representation. We provide an extensive quantitative evaluation and demonstrate compelling free-viewpoint rendering results.
• Abstract（参考訳）: 本稿では,動的シーンの時空間的ニューラル照度場を1つのビデオから学習する手法を提案する。 我々の学習した表現は、入力ビデオの自由視点レンダリングを可能にする。 この手法は最近の暗黙表現の進歩に基づいている。 1つのビデオから時空間の照度場を学習することは、どの時点でもシーンの1つの観察しか含まないため、大きな課題となる。 シーンの3次元幾何学は、様々な幾何学(動き)を様々な外観で説明できるので、様々な方法で合法的に表現できる。 我々は,映像深度推定法から推定したシーン深度を用いて動的シーン表現の時間変化幾何学を制約し,個々のフレームからのコンテンツを単一のグローバル表現に集約することで,この曖昧さに対処する。 広範に定量的評価を行い、魅力的な自由視点レンダリング結果を示す。

関連論文リスト

• NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
  本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。 実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
  論文  参考訳（メタデータ） (2022-10-22T04:57:55Z)
• S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a Single Viewpoint [22.42916940712357]
  本手法は,シーンの3次元形状とBRDFを表現するために,ニューラルリフレクタンス場を学習する。 本手法は,一視点画像からシーンの可視部分と可視部分の両方を含む3次元形状を復元することができる。 新規ビュー合成やリライトといったアプリケーションをサポートする。
  論文  参考訳（メタデータ） (2022-10-17T11:01:52Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Neural Point Light Fields [80.98651520818785]
  本稿では,スパース点雲上に存在する光の場を暗黙的に表現するニューラルポイント光場について紹介する。 これらの点光場は、光線方向と局所点特徴近傍の関数として機能し、光場条件付きトレーニング画像を高密度の被写体とパララックスを介さずに補間することができる。
  論文  参考訳（メタデータ） (2021-12-02T18:20:10Z)
• STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in Motion with Neural Rendering [9.600908665766465]
  本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。 本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
  論文  参考訳（メタデータ） (2020-12-22T23:45:28Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)
• Neural Sparse Voxel Fields [151.20366604586403]
  高速かつ高品質な自由視点レンダリングのためのニューラルシーン表現であるNeural Sparse Voxel Fields (NSVF)を紹介する。 NSVFは、各細胞の局所特性をモデル化するために、スパース・ボクセル・オクツリーで組織された、ボクセルに結合した暗黙のフィールドのセットを定義する。 提案手法は, 高い品質を達成しつつ, 推論時の最先端技術(NeRF(Mildenhall et al., 2020))よりも10倍以上高速である。
  論文  参考訳（メタデータ） (2020-07-22T17:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。