論文の概要: A Real-time Method for Inserting Virtual Objects into Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2310.05837v1
• Date: Mon, 9 Oct 2023 16:26:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 00:25:59.756781
• Title: A Real-time Method for Inserting Virtual Objects into Neural Radiance Fields
• Title（参考訳）: 神経放射野に仮想物体を挿入するリアルタイム手法
• Authors: Keyang Ye, Hongzhi Wu, Xin Tong, Kun Zhou
• Abstract要約: 本稿では,剛体仮想物体を神経放射場に挿入する最初のリアルタイム手法を提案する。 提案手法は,NeRFにおける照明と幾何学に関する豊富な情報を活用することで,拡張現実における物体挿入の課題を克服する。
• 参考スコア（独自算出の注目度）: 38.370278809341954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the first real-time method for inserting a rigid virtual object into a neural radiance field, which produces realistic lighting and shadowing effects, as well as allows interactive manipulation of the object. By exploiting the rich information about lighting and geometry in a NeRF, our method overcomes several challenges of object insertion in augmented reality. For lighting estimation, we produce accurate, robust and 3D spatially-varying incident lighting that combines the near-field lighting from NeRF and an environment lighting to account for sources not covered by the NeRF. For occlusion, we blend the rendered virtual object with the background scene using an opacity map integrated from the NeRF. For shadows, with a precomputed field of spherical signed distance field, we query the visibility term for any point around the virtual object, and cast soft, detailed shadows onto 3D surfaces. Compared with state-of-the-art techniques, our approach can insert virtual object into scenes with superior fidelity, and has a great potential to be further applied to augmented reality systems.
• Abstract（参考訳）: 本稿では, 現実的な照明効果と影効果を生み出すとともに, 物体のインタラクティブな操作を可能にする, 剛体仮想物体を神経放射場に挿入する最初のリアルタイム手法を提案する。 NeRFにおける照明と幾何学に関する豊富な情報を活用することで,拡張現実における物体挿入の課題を克服する。 照明推定のために,NeRFの近接場照明と環境照明を組み合わせ,NeRFがカバーしていない光源を考慮した高精度で頑健で3次元的な入射光を生成する。 隠蔽のために、NeRFから統合された不透明マップを用いて、レンダリングされた仮想オブジェクトと背景シーンをブレンドする。 シャドウの場合、球面符号付き距離場が予め計算されたフィールドを持つと、仮想オブジェクト周辺の任意の点の可視性用語をクエリし、ソフトで詳細なシャドウを3d面にキャストする。 最先端技術と比較して、我々のアプローチは、より忠実なシーンに仮想オブジェクトを挿入することができ、拡張現実システムにさらに適用可能な大きな可能性を秘めている。

関連論文リスト

• Relighting Scenes with Object Insertions in Neural Radiance Fields [24.18050535794117]
  本研究では,物体のNeRFをシーンのNeRFに挿入するための新しいNeRFパイプラインを提案する。 提案手法は,広範囲な実験評価において,現実的な照明効果を実現する。
  論文  参考訳（メタデータ） (2024-06-21T00:58:58Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion [129.52943959497665]
  既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。 単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。 自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
  論文  参考訳（メタデータ） (2022-08-19T17:59:16Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)
• IllumiNet: Transferring Illumination from Planar Surfaces to Virtual Objects in Augmented Reality [38.83696624634213]
  本稿では,学習による実環境における仮想物体の照明推定手法を提案する。 一つのRGB画像が与えられた場合、シーンの平面面から抽出した照明特徴を所望のジオメトリに転送することで、信頼度の高い仮想オブジェクトを直接推測する。
  論文  参考訳（メタデータ） (2020-07-12T13:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。