論文の概要: NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects

• arxiv url: http://arxiv.org/abs/2303.14435v1
• Date: Sat, 25 Mar 2023 11:03:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 19:42:57.299380
• Title: NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects
• Title（参考訳）: NeRF-DS:動的特異物体に対するニューラルラジアンス場
• Authors: Zhiwen Yan, Chen Li, Gim Hee Lee
• Abstract要約: ダイナミック・ニューラル・ラジアンス・フィールド(英語版)(NeRF)は、動的シーンの単眼RGBビデオからフォトリアリスティック・ノベル・ビュー・イメージをレンダリングできる強力なアルゴリズムである。 観測空間の表面位置と配向に条件付される神経放射場関数を再構成することにより,その限界に対処する。 本研究では,現実的な環境下での異なる移動スペクトルオブジェクトの自己合成データセットを用いて,新しいビュー合成品質に基づくモデルの評価を行った。
• 参考スコア（独自算出の注目度）: 63.04781030984006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic Neural Radiance Field (NeRF) is a powerful algorithm capable of rendering photo-realistic novel view images from a monocular RGB video of a dynamic scene. Although it warps moving points across frames from the observation spaces to a common canonical space for rendering, dynamic NeRF does not model the change of the reflected color during the warping. As a result, this approach often fails drastically on challenging specular objects in motion. We address this limitation by reformulating the neural radiance field function to be conditioned on surface position and orientation in the observation space. This allows the specular surface at different poses to keep the different reflected colors when mapped to the common canonical space. Additionally, we add the mask of moving objects to guide the deformation field. As the specular surface changes color during motion, the mask mitigates the problem of failure to find temporal correspondences with only RGB supervision. We evaluate our model based on the novel view synthesis quality with a self-collected dataset of different moving specular objects in realistic environments. The experimental results demonstrate that our method significantly improves the reconstruction quality of moving specular objects from monocular RGB videos compared to the existing NeRF models. Our code and data are available at the project website https://github.com/JokerYan/NeRF-DS.
• Abstract（参考訳）: dynamic neural radiance field(nerf)は、ダイナミックシーンの単眼rgbビデオからフォトリアリスティックな斬新なビュー画像をレンダリングできる強力なアルゴリズムである。 観察空間から共通の正準空間へフレームを横切る移動点を整列するが、ダイナミックなnerfは整列中の反射色の変化をモデル化しない。 結果として、このアプローチはしばしば、運動中の特異物体に対する挑戦に大きく失敗する。 我々は、観測空間における表面位置と方向を条件とする神経放射場関数を再構成することで、この制限に対処する。 これにより、異なるポーズの鏡面は、共通の正準空間にマッピングされたときに異なる反射色を維持することができる。 さらに,変形場を誘導するために移動物体のマスクを追加する。 運動中に色が変化すると、マスクはRGBの監督のみで時間的対応が見つからないという問題を緩和する。 本モデルでは,実環境における異なる鏡面オブジェクトの自己収集データセットを用いて,新たな視点合成品質に基づいて評価を行う。 実験の結果,既存のNeRFモデルと比較して,単眼のRGBビデオからの移動物体の復元精度が有意に向上することが確認された。 私たちのコードとデータはプロジェクトのwebサイトhttps://github.com/jokeryan/nerf-dsで入手できます。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• MorpheuS: Neural Dynamic 360° Surface Reconstruction from Monocular RGB-D Video [14.678582015968916]
  我々は,カジュアルにキャプチャされたRGB-Dビデオから動的360度表面再構成を行うMorpheuSを紹介する。 我々のアプローチは、ターゲットシーンを、その幾何学と外観を符号化する標準フィールドとしてモデル化する。 我々は、ビュー依存拡散を先取りし、その知識を蒸留し、観測されていない領域の現実的な完成を達成する。
  論文  参考訳（メタデータ） (2023-12-01T18:55:53Z)
• Animating NeRFs from Texture Space: A Framework for Pose-Dependent Rendering of Human Performances [11.604386285817302]
  人間のパフォーマンスのポーズ依存レンダリングのための新しいNeRFベースのフレームワークを提案する。 提案手法は,新規視点と新規目的合成のための高品質なレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-06T14:34:36Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• NeRS: Neural Reflectance Surfaces for Sparse-view 3D Reconstruction in the Wild [80.09093712055682]
  ニューラルリフレクタンスサーフェス(NeRS)と呼ばれる暗黙モデルの表面アナログを導入する。 NeRSは、球に微分される閉じた表面の神経形状の表現を学び、水密な再構成を保証する。 このようなデータから学習可能な表面ベースニューラル再構成は,体積的ニューラルレンダリングに基づく再構成よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-14T17:59:58Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。