論文の概要: IRON: Inverse Rendering by Optimizing Neural SDFs and Materials from
Photometric Images
- arxiv url: http://arxiv.org/abs/2204.02232v1
- Date: Tue, 5 Apr 2022 14:14:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-06 16:59:58.685463
- Title: IRON: Inverse Rendering by Optimizing Neural SDFs and Materials from
Photometric Images
- Title(参考訳): IRON:光度画像からニューラルSDFと材料を最適化した逆レンダリング
- Authors: Kai Zhang and Fujun Luan and Zhengqi Li and Noah Snavely
- Abstract要約: 我々は、光メトリック画像を操作し、高品質な3Dコンテンツを出力するIRONと呼ばれるニューラルネットワーク逆レンダリングパイプラインを提案する。
提案手法は, 符号付き距離場 (SDF) と材料として, その柔軟性とコンパクトさを享受するために, 形状のニューラル表現を最適化中に採用する。
我々のIRONは、以前の作品に比べて、逆レンダリング品質が大幅に向上していることが示される。
- 参考スコア(独自算出の注目度): 52.021529273866896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a neural inverse rendering pipeline called IRON that operates on
photometric images and outputs high-quality 3D content in the format of
triangle meshes and material textures readily deployable in existing graphics
pipelines. Our method adopts neural representations for geometry as signed
distance fields (SDFs) and materials during optimization to enjoy their
flexibility and compactness, and features a hybrid optimization scheme for
neural SDFs: first, optimize using a volumetric radiance field approach to
recover correct topology, then optimize further using edgeaware physics-based
surface rendering for geometry refinement and disentanglement of materials and
lighting. In the second stage, we also draw inspiration from mesh-based
differentiable rendering, and design a novel edge sampling algorithm for neural
SDFs to further improve performance. We show that our IRON achieves
significantly better inverse rendering quality compared to prior works. Our
project page is here: https://kai-46.github.io/IRON-website/
- Abstract(参考訳): 本研究では,既存のグラフィックパイプラインに容易に展開可能なトライアングルメッシュと素材テクスチャのフォーマットで高品質な3dコンテンツを出力する,ironと呼ばれるニューラルネットワーク逆レンダリングパイプラインを提案する。
提案手法は,符号付き距離場 (SDF) としての幾何の表現と,その柔軟性とコンパクト性を楽しむために材料を最適化し,まず,体積的放射場アプローチを用いてトポロジを復元し,さらにエッジウェア物理に基づく表面レンダリングを用いて,材料や照明の幾何学的洗練とアンタングルメントを最適化する。
第2段階では、メッシュベースの微分レンダリングからインスピレーションを得て、ニューラルネットワークSDFのための新しいエッジサンプリングアルゴリズムを設計し、パフォーマンスをさらに向上する。
我々のIRONは、以前の作品に比べて、逆レンダリング品質が大幅に向上していることを示す。
プロジェクトページはこちら。https://kai-46.github.io/IRON-website/
関連論文リスト
- NeuManifold: Neural Watertight Manifold Reconstruction with Efficient
and High-Quality Rendering Support [45.68296352822415]
マルチビュー入力画像から高品質な水密多様体メッシュを生成する手法を提案する。
提案手法は両世界の利点を組み合わせ, ニューラルネットワークから得られる幾何学と, よりコンパクトな神経テクスチャ表現を最適化する。
論文 参考訳(メタデータ) (2023-05-26T17:59:21Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - Multi-View Mesh Reconstruction with Neural Deferred Shading [0.8514420632209809]
最先端の手法では、ニューラルサーフェス表現とニューラルシェーディングの両方を用いる。
曲面を三角形メッシュとして表現し、三角形の描画とニューラルシェーディングを中心に、微分可能なレンダリングパイプラインを構築します。
パブリックな3次元再構成データセットを用いてランタイムの評価を行い、最適化において従来のベースラインの復元精度を上回りながら、従来のベースラインの再構築精度に適合できることを示す。
論文 参考訳(メタデータ) (2022-12-08T16:29:46Z) - Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。
NeRFは暗黙の3D表現の分野に革命をもたらした。
論文 参考訳(メタデータ) (2022-10-24T08:53:35Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face
Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。
3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文 参考訳(メタデータ) (2021-05-16T16:35:44Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-05-06T04:16:06Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-03-29T13:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。