論文の概要: Extracting Triangular 3D Models, Materials, and Lighting From Images

• arxiv url: http://arxiv.org/abs/2111.12503v5
• Date: Tue, 11 Apr 2023 07:05:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 19:33:29.862994
• Title: Extracting Triangular 3D Models, Materials, and Lighting From Images
• Title（参考訳）: 画像から三角形の3次元モデル, 材料, 照明を抽出する
• Authors: Jacob Munkberg, Jon Hasselgren, Tianchang Shen, Jun Gao, Wenzheng Chen, Alex Evans, Thomas M\"uller, Sanja Fidler
• Abstract要約: 多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
• 参考スコア（独自算出の注目度）: 59.33666140713829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an efficient method for joint optimization of topology, materials and lighting from multi-view image observations. Unlike recent multi-view reconstruction approaches, which typically produce entangled 3D representations encoded in neural networks, we output triangle meshes with spatially-varying materials and environment lighting that can be deployed in any traditional graphics engine unmodified. We leverage recent work in differentiable rendering, coordinate-based networks to compactly represent volumetric texturing, alongside differentiable marching tetrahedrons to enable gradient-based optimization directly on the surface mesh. Finally, we introduce a differentiable formulation of the split sum approximation of environment lighting to efficiently recover all-frequency lighting. Experiments show our extracted models used in advanced scene editing, material decomposition, and high quality view interpolation, all running at interactive rates in triangle-based renderers (rasterizers and path tracers). Project website: https://nvlabs.github.io/nvdiffrec/ .
• Abstract（参考訳）: 多視点画像観測によるトポロジ,材料,照明の協調最適化手法を提案する。 ニューラルネットワークで符号化されたエンタングル3d表現を通常生成する最近のマルチビュー再構成アプローチとは異なり、空間的に変動する材料と環境照明を備えた三角形メッシュを、従来のグラフィックエンジンで無修正でデプロイできる。 我々は、微分可能なレンダリング、座標ベースのネットワークによる最近の研究を活用し、体積のテクスチャをコンパクトに表現し、微分可能なマーチング四面体と共に表面メッシュ上で勾配に基づく最適化を可能にする。 最後に,環境照明の分割和近似の微分可能な定式化を導入し,全周波数照明を効率的に復元する。 実験では,高度なシーン編集,材質分解,高画質ビュー補間において,トライアングルベースレンダラ(ラスタライザとパストレーサ)のインタラクティブな速度で動作する抽出モデルを示す。 プロジェクトサイト: https://nvlabs.github.io/nvdiffrec/。

関連論文リスト

• Triplet: Triangle Patchlet for Mesh-Based Inverse Rendering and Scene Parameters Approximation [0.0]
  逆レンダリングは、光、幾何学、テクスチャ、材料を含むシーンの物理的特性を導き出そうとする。 メッシュは、多くのシミュレーションパイプラインで採用されている伝統的な表現として、いまだに逆レンダリングのラディアンスフィールドに限られた影響しか示していない。 本稿では,これらのパラメータを包括的に近似するメッシュベースの表現であるTriangle Patchlet (abbr. Triplet) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T09:59:11Z)
• FlexiDreamer: Single Image-to-3D Generation with FlexiCubes [20.871847154995688]
  FlexiDreamerは、マルチビュー生成イメージから高品質なメッシュを直接再構築する新しいフレームワークである。 提案手法では,1つの画像から3次元の下流タスクにおいて,約1分で高忠実度3Dメッシュを生成することができる。
  論文  参考訳（メタデータ） (2024-04-01T08:20:18Z)
• GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
  本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。 最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。 我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
  論文  参考訳（メタデータ） (2023-12-08T16:05:15Z)
• Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
  フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。 提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
  論文  参考訳（メタデータ） (2023-11-27T18:07:58Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• Multi-View Mesh Reconstruction with Neural Deferred Shading [0.8514420632209809]
  最先端の手法では、ニューラルサーフェス表現とニューラルシェーディングの両方を用いる。 曲面を三角形メッシュとして表現し、三角形の描画とニューラルシェーディングを中心に、微分可能なレンダリングパイプラインを構築します。 パブリックな3次元再構成データセットを用いてランタイムの評価を行い、最適化において従来のベースラインの復元精度を上回りながら、従来のベースラインの再構築精度に適合できることを示す。
  論文  参考訳（メタデータ） (2022-12-08T16:29:46Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• IRON: Inverse Rendering by Optimizing Neural SDFs and Materials from Photometric Images [52.021529273866896]
  我々は、光メトリック画像を操作し、高品質な3Dコンテンツを出力するIRONと呼ばれるニューラルネットワーク逆レンダリングパイプラインを提案する。 提案手法は, 符号付き距離場 (SDF) と材料として, その柔軟性とコンパクトさを享受するために, 形状のニューラル表現を最適化中に採用する。 我々のIRONは、以前の作品に比べて、逆レンダリング品質が大幅に向上していることが示される。
  論文  参考訳（メタデータ） (2022-04-05T14:14:18Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。