論文の概要: Dynamic Mesh-Aware Radiance Fields

• arxiv url: http://arxiv.org/abs/2309.04581v1
• Date: Fri, 8 Sep 2023 20:18:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 17:38:03.034107
• Title: Dynamic Mesh-Aware Radiance Fields
• Title（参考訳）: 動的メッシュアウェア放射場
• Authors: Yi-Ling Qiao, Alexander Gao, Yiran Xu, Yue Feng, Jia-Bin Huang, Ming C. Lin
• Abstract要約: 本稿では,メッシュとNeRFの双方向結合をレンダリングおよびシミュレーション時に設計する。 ハイブリッドシステムはメッシュ挿入のための視覚リアリズムの代替よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 75.59025151369308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding polygonal mesh assets within photorealistic Neural Radience Fields (NeRF) volumes, such that they can be rendered and their dynamics simulated in a physically consistent manner with the NeRF, is under-explored from the system perspective of integrating NeRF into the traditional graphics pipeline. This paper designs a two-way coupling between mesh and NeRF during rendering and simulation. We first review the light transport equations for both mesh and NeRF, then distill them into an efficient algorithm for updating radiance and throughput along a cast ray with an arbitrary number of bounces. To resolve the discrepancy between the linear color space that the path tracer assumes and the sRGB color space that standard NeRF uses, we train NeRF with High Dynamic Range (HDR) images. We also present a strategy to estimate light sources and cast shadows on the NeRF. Finally, we consider how the hybrid surface-volumetric formulation can be efficiently integrated with a high-performance physics simulator that supports cloth, rigid and soft bodies. The full rendering and simulation system can be run on a GPU at interactive rates. We show that a hybrid system approach outperforms alternatives in visual realism for mesh insertion, because it allows realistic light transport from volumetric NeRF media onto surfaces, which affects the appearance of reflective/refractive surfaces and illumination of diffuse surfaces informed by the dynamic scene.
• Abstract（参考訳）: 光リアリスティックなニューラル・ラジエンス・フィールド(nerf)ボリュームに多角形メッシュのアセットを埋め込んでレンダリングし、そのダイナミクスをnerfと物理的に一貫した方法でシミュレートすることは、nerfを従来のグラフィックパイプラインに統合するシステムの観点からは未検討である。 本稿では,メッシュとNeRFの双方向結合をレンダリングおよびシミュレーション時に設計する。 まず,メッシュとnerfの光移動方程式を概観し,任意の数のバウンスでキャスティング線に沿って放射率とスループットを更新する効率的なアルゴリズムに蒸留する。 パストレーサが想定する直線色空間と標準のNeRFが使用するsRGB色空間との差を解消するために,高ダイナミックレンジ(HDR)画像を用いてNeRFを訓練する。 また、NeRF上に光源を推定し、影を鋳造する戦略も提示する。 最後に, 布, 剛体, 軟体をサポートする高性能物理シミュレータと, ハイブリッド表面体積公式を効率的に統合する方法について考察する。 フルレンダリングとシミュレーションシステムは、gpu上でインタラクティブなレートで実行することができる。 本研究では,メッシュ挿入の視覚的リアリズムの代替として,反射・屈折面の出現や動的シーンからの拡散面の照明に影響を及ぼす,体積型NeRF媒体から表面への現実的な光輸送を可能にするハイブリッドシステムを提案する。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
  Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。 各種タスクにおけるMesh2NeRFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-28T11:22:53Z)
• Ternary-Type Opacity and Hybrid Odometry for RGB NeRF-SLAM [58.736472371951955]
  表面を交差する光線上の点を3つの領域(前・前・後・後)に分類する3成分式不透明度モデルを導入する。 これにより、より正確な深度のレンダリングが可能となり、画像ワープ技術の性能が向上する。 TTとHOの統合アプローチは,合成および実世界のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-12-20T18:03:17Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• ABLE-NeRF: Attention-Based Rendering with Learnable Embeddings for Neural Radiance Field [20.986012773294714]
  我々は,光線に沿ったボリュームに自己注意型フレームワークを導入することで,物理ベースのVRアプローチに代わる方法を提案する。 ABLE-NeRFと呼ばれるこの手法は、レンダリングにおける光沢のある表面のぼやけを著しく低減し、先行技術に欠ける現実的な半透明な表面を生成する。
  論文  参考訳（メタデータ） (2023-03-24T05:34:39Z)
• NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes [56.31855837632735]
  我々は、NeRF駆動のアプローチで容易に3次元表面を再構成できるコンパクトで柔軟なアーキテクチャを提案する。 最後の3Dメッシュは物理的に正確で、デバイスアレイ上でリアルタイムでレンダリングできます。
  論文  参考訳（メタデータ） (2023-03-16T16:06:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。