論文の概要: Dynamic Mesh-Aware Radiance Fields
- arxiv url: http://arxiv.org/abs/2309.04581v1
- Date: Fri, 8 Sep 2023 20:18:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 17:38:03.034107
- Title: Dynamic Mesh-Aware Radiance Fields
- Title(参考訳): 動的メッシュアウェア放射場
- Authors: Yi-Ling Qiao, Alexander Gao, Yiran Xu, Yue Feng, Jia-Bin Huang, Ming
C. Lin
- Abstract要約: 本稿では,メッシュとNeRFの双方向結合をレンダリングおよびシミュレーション時に設計する。
ハイブリッドシステムはメッシュ挿入のための視覚リアリズムの代替よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 75.59025151369308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embedding polygonal mesh assets within photorealistic Neural Radience Fields
(NeRF) volumes, such that they can be rendered and their dynamics simulated in
a physically consistent manner with the NeRF, is under-explored from the system
perspective of integrating NeRF into the traditional graphics pipeline. This
paper designs a two-way coupling between mesh and NeRF during rendering and
simulation. We first review the light transport equations for both mesh and
NeRF, then distill them into an efficient algorithm for updating radiance and
throughput along a cast ray with an arbitrary number of bounces. To resolve the
discrepancy between the linear color space that the path tracer assumes and the
sRGB color space that standard NeRF uses, we train NeRF with High Dynamic Range
(HDR) images. We also present a strategy to estimate light sources and cast
shadows on the NeRF. Finally, we consider how the hybrid surface-volumetric
formulation can be efficiently integrated with a high-performance physics
simulator that supports cloth, rigid and soft bodies. The full rendering and
simulation system can be run on a GPU at interactive rates. We show that a
hybrid system approach outperforms alternatives in visual realism for mesh
insertion, because it allows realistic light transport from volumetric NeRF
media onto surfaces, which affects the appearance of reflective/refractive
surfaces and illumination of diffuse surfaces informed by the dynamic scene.
- Abstract(参考訳): 光リアリスティックなニューラル・ラジエンス・フィールド(nerf)ボリュームに多角形メッシュのアセットを埋め込んでレンダリングし、そのダイナミクスをnerfと物理的に一貫した方法でシミュレートすることは、nerfを従来のグラフィックパイプラインに統合するシステムの観点からは未検討である。
本稿では,メッシュとNeRFの双方向結合をレンダリングおよびシミュレーション時に設計する。
まず,メッシュとnerfの光移動方程式を概観し,任意の数のバウンスでキャスティング線に沿って放射率とスループットを更新する効率的なアルゴリズムに蒸留する。
パストレーサが想定する直線色空間と標準のNeRFが使用するsRGB色空間との差を解消するために,高ダイナミックレンジ(HDR)画像を用いてNeRFを訓練する。
また、NeRF上に光源を推定し、影を鋳造する戦略も提示する。
最後に, 布, 剛体, 軟体をサポートする高性能物理シミュレータと, ハイブリッド表面体積公式を効率的に統合する方法について考察する。
フルレンダリングとシミュレーションシステムは、gpu上でインタラクティブなレートで実行することができる。
本研究では,メッシュ挿入の視覚的リアリズムの代替として,反射・屈折面の出現や動的シーンからの拡散面の照明に影響を及ぼす,体積型NeRF媒体から表面への現実的な光輸送を可能にするハイブリッドシステムを提案する。
関連論文リスト
- PIE-NeRF: Physics-based Interactive Elastodynamics with NeRF [31.401805556438557]
物理シミュレーションをNeRFとシームレスに統合することで,現実世界の物体の高品質なエラストダイナミックスを生成できることを示す。
2次一般化移動最小二乗(Q-GMLS)を用いて、非線型力学と暗黙モデル上の大きな変形を捉える。
我々は、非線形シミュレーションの複雑さを著しく低減するために、最小二乗核をNeRF密度場に従って適応的に配置する。
論文 参考訳(メタデータ) (2023-11-22T01:58:26Z) - OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。
本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。
本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
論文 参考訳(メタデータ) (2023-05-24T07:36:47Z) - Multi-Space Neural Radiance Fields [74.46513422075438]
既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。
並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。
提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
論文 参考訳(メタデータ) (2023-05-07T13:11:07Z) - Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。
提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文 参考訳(メタデータ) (2023-04-20T17:59:52Z) - NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects [63.04781030984006]
ダイナミック・ニューラル・ラジアンス・フィールド(英語版)(NeRF)は、動的シーンの単眼RGBビデオからフォトリアリスティック・ノベル・ビュー・イメージをレンダリングできる強力なアルゴリズムである。
観測空間の表面位置と配向に条件付される神経放射場関数を再構成することにより,その限界に対処する。
本研究では,現実的な環境下での異なる移動スペクトルオブジェクトの自己合成データセットを用いて,新しいビュー合成品質に基づくモデルの評価を行った。
論文 参考訳(メタデータ) (2023-03-25T11:03:53Z) - ABLE-NeRF: Attention-Based Rendering with Learnable Embeddings for
Neural Radiance Field [20.986012773294714]
我々は,光線に沿ったボリュームに自己注意型フレームワークを導入することで,物理ベースのVRアプローチに代わる方法を提案する。
ABLE-NeRFと呼ばれるこの手法は、レンダリングにおける光沢のある表面のぼやけを著しく低減し、先行技術に欠ける現実的な半透明な表面を生成する。
論文 参考訳(メタデータ) (2023-03-24T05:34:39Z) - NeRFMeshing: Distilling Neural Radiance Fields into
Geometrically-Accurate 3D Meshes [56.31855837632735]
我々は、NeRF駆動のアプローチで容易に3次元表面を再構成できるコンパクトで柔軟なアーキテクチャを提案する。
最後の3Dメッシュは物理的に正確で、デバイスアレイ上でリアルタイムでレンダリングできます。
論文 参考訳(メタデータ) (2023-03-16T16:06:03Z) - ParticleNeRF: A Particle-Based Encoding for Online Neural Radiance
Fields [6.166295570030645]
最新の表現をオンラインで学習することで,シーン形状の変化に動的に適応する新しいアプローチであるParticleNeRFを提案する。
本研究では, 翻訳, 回転, 調音, 変形可能な物体を含む様々な動的シーンでParticleNeRFを実演する。
論文 参考訳(メタデータ) (2022-11-08T06:50:10Z) - Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。
我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。
TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
論文 参考訳(メタデータ) (2022-05-30T17:47:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。