論文の概要: Neural Radiance Flow for 4D View Synthesis and Video Processing

• arxiv url: http://arxiv.org/abs/2012.09790v1
• Date: Thu, 17 Dec 2020 17:54:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 07:32:10.831327
• Title: Neural Radiance Flow for 4D View Synthesis and Video Processing
• Title（参考訳）: 4次元ビュー合成とビデオ処理のためのニューラルラジアンスフロー
• Authors: Yilun Du, Yinan Zhang, Hong-Xing Yu, Joshua B. Tenenbaum, Jiajun Wu
• Abstract要約: 本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。 私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
• 参考スコア（独自算出の注目度）: 59.9116932930108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a method, Neural Radiance Flow (NeRFlow),to learn a 4D spatial-temporal representation of a dynamic scene from a set of RGB images. Key to our approach is the use of a neural implicit representation that learns to capture the 3D occupancy, radiance, and dynamics of the scene. By enforcing consistency across different modalities, our representation enables multi-view rendering in diverse dynamic scenes, including water pouring, robotic interaction, and real images, outperforming state-of-the-art methods for spatial-temporal view synthesis. Our approach works even when inputs images are captured with only one camera. We further demonstrate that the learned representation can serve as an implicit scene prior, enabling video processing tasks such as image super-resolution and de-noising without any additional supervision.
• Abstract（参考訳）: 本稿では,rgb画像から動的シーンの4次元空間-時間表現を学ぶためのニューラル・ラミアンス・フロー(nerflow)を提案する。 我々のアプローチの鍵は、シーンの3D占有率、放射率、ダイナミックスを捉えることを学習する神経暗黙表現を使用することである。 異なるモダリティにまたがる一貫性を強制することにより,水注,ロボットインタラクション,実画像など多様な動的シーンにおける多視点レンダリングが可能となり,空間-時空間ビュー合成における最先端手法を上回っている。 私たちのアプローチは、入力画像が1つのカメラでキャプチャされる場合でも機能します。 さらに,学習表現が先行して暗黙的なシーンとして機能できることを実証し,画像の超解像やノイズ除去といった映像処理タスクを,追加の監督なしに行えることを示した。

関連論文リスト

• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Editable Free-viewpoint Video Using a Layered Neural Representation [35.44420164057911]
  我々は,スパース16カメラのみを用いた大規模ダイナミックシーンの編集可能な自由視点映像生成のための最初のアプローチを提案する。 私たちのアプローチの核心は、環境そのものを含む各動的エンティティがST-NeRFと呼ばれる時空コヒーレントな神経層放射線表現に定式化される新しい階層化された神経表現です。 実験は,ダイナミックシーンにおける高品質,フォトリアリスティック,編集可能な自由視点映像生成を実現するための手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-04-30T06:50:45Z)
• STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in Motion with Neural Rendering [9.600908665766465]
  本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。 本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
  論文  参考訳（メタデータ） (2020-12-22T23:45:28Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)
• Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
  本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。 私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。 我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
  論文  参考訳（メタデータ） (2020-11-26T01:23:44Z)
• NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
  本稿では,複雑なシーンの新たなビューを合成する手法を提案する。 提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。 ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
  論文  参考訳（メタデータ） (2020-03-19T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。