論文の概要: BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis

• arxiv url: http://arxiv.org/abs/2302.14859v1
• Date: Tue, 28 Feb 2023 18:58:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 14:54:23.306320
• Title: BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis
• Title（参考訳）: BakedSDF:リアルタイムビュー合成のためのニューラルネットワークSDF
• Authors: Lior Yariv, Peter Hedman, Christian Reiser, Dor Verbin, Pratul P. Srinivasan, Richard Szeliski, Jonathan T. Barron, Ben Mildenhall
• Abstract要約: 本稿では,フォトリアリスティックな新規ビュー合成に適した大規模現実世界シーンの高品質メッシュを再構築する手法を提案する。 我々はまず,シーンの表面に対応する良好なレベルセットを持つように設計された,ハイブリッドなニューラルボリューム・サーフェス・シーン表現を最適化する。 そして、この表現を高品質な三角形メッシュに焼き込み、球面ガウスに基づく、シンプルで高速なビュー依存の外観モデルと組み合わせる。
• 参考スコア（独自算出の注目度）: 42.93055827628597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a method for reconstructing high-quality meshes of large unbounded real-world scenes suitable for photorealistic novel view synthesis. We first optimize a hybrid neural volume-surface scene representation designed to have well-behaved level sets that correspond to surfaces in the scene. We then bake this representation into a high-quality triangle mesh, which we equip with a simple and fast view-dependent appearance model based on spherical Gaussians. Finally, we optimize this baked representation to best reproduce the captured viewpoints, resulting in a model that can leverage accelerated polygon rasterization pipelines for real-time view synthesis on commodity hardware. Our approach outperforms previous scene representations for real-time rendering in terms of accuracy, speed, and power consumption, and produces high quality meshes that enable applications such as appearance editing and physical simulation.
• Abstract（参考訳）: 本稿では,フォトリアリスティックなノベルビューの合成に適した大規模非拘束現実世界シーンの高品質メッシュを再構築する手法を提案する。 まず,シーン内の表面に対応する高度レベル集合を持つように設計された,ハイブリッドニューラルボリューム・サーフェス・シーン表現を最適化する。 そして、この表現を高品質な三角形メッシュに焼き込み、球面ガウスに基づく、シンプルで高速なビュー依存の外観モデルと組み合わせる。 最後に, この焼成表現を最適に最適化して, 得られた視点を最適に再現し, 高速化されたポリゴンラスタライゼーションパイプラインを利用して, 商品ハードウェア上でのリアルタイムなビュー合成を行うモデルを提案する。 提案手法は,実時間レンダリングの精度,速度,消費電力の面で,従来のシーン表現を上回り,外観編集や物理シミュレーションなどのアプリケーションを可能にする高品質メッシュを生成する。

関連論文リスト

• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo [54.00987996368157]
  MVSGaussianは、Multi-View Stereo(MVS)から導かれる新しい一般化可能な3次元ガウス表現手法である。 MVSGaussianは、シーンごとにより良い合成品質でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2024-05-20T17:59:30Z)
• FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
  動的顔の3Dレンダリングは難しい問題である。 本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
  論文  参考訳（メタデータ） (2024-04-22T00:44:13Z)
• REFRAME: Reflective Surface Real-Time Rendering for Mobile Devices [51.983541908241726]
  本研究は,様々な場面にまたがる反射面に対して,リアルタイムな新規ビュー合成を実現するための課題に取り組む。 既存のリアルタイムレンダリング手法、特にメッシュに基づくレンダリングは、リッチなビュー依存の外観を持つモデリングサーフェスにおいて、サブパーパフォーマンスを持つことが多い。 色を拡散およびスペクトルに分解し、ニューラル環境マップに基づいて反射方向のスペクトル色をモデル化する。
  論文  参考訳（メタデータ） (2024-03-25T07:07:50Z)
• RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS [47.47003067842151]
  本稿では,複雑なシーンをリアルタイムにレンダリングする軽量なRadSplatを提案する。 まず, 優先信号として放射場を用い, 点ベースシーン表現の最適化を行い, 品質の向上とロバストな最適化を実現した。 次に,高い品質を維持しつつ全体の点数を削減し,より高速な推論速度でより小型でコンパクトなシーン表現を実現する新しいプルーニング手法を開発した。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• High-Quality Mesh Blendshape Generation from Face Videos via Neural Inverse Rendering [15.009484906668737]
  メッシュをベースとしたブレンドシェイプリグを,シングルあるいはスパースなマルチビュービデオから再構成する新しい手法を提案する。 実験により,シングルあるいはスパースなマルチビュービデオのフレキシブルな入力により,パーソナライズされた高忠実度ブレンドサップを再構築することを示した。
  論文  参考訳（メタデータ） (2024-01-16T14:41:31Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• Neural Lumigraph Rendering [33.676795978166375]
  最先端の(SOTA)ニューラルボリュームレンダリングアプローチは、トレーニングが遅く、高い画像解像度のために数分の推論(レンダリング)時間を必要とします。 本研究では,2次元画像のみを監督するシーンの暗黙の面と放射界を協調的に最適化するために,周期的アクティベーションを伴う高容量なニューラルシーン表現を採用する。 我々のニューラルレンダリングパイプラインは、SOTAニューラルボリュームレンダリングを約2桁加速し、暗黙のサーフェス表現は、ビュー依存テクスチャ情報によるメッシュのエクスポートを可能にするユニークなものです。
  論文  参考訳（メタデータ） (2021-03-22T03:46:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。