論文の概要: Deep scene-scale material estimation from multi-view indoor captures

• arxiv url: http://arxiv.org/abs/2211.08047v1
• Date: Tue, 15 Nov 2022 10:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 15:48:56.121317
• Title: Deep scene-scale material estimation from multi-view indoor captures
• Title（参考訳）: 多視点屋内撮影による深部シーンスケール材料推定
• Authors: Siddhant Prakash and Gilles Rainer and Adrien Bousseau and George Drettakis
• Abstract要約: 本稿では,物理的なレンダリングが可能なデジタルアセットを自動生成する学習ベースのアプローチを提案する。 提案手法は, 最寄りの解に比べて少ない時間で近似材料マップを生成する。
• 参考スコア（独自算出の注目度）: 9.232860902853048
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The movie and video game industries have adopted photogrammetry as a way to create digital 3D assets from multiple photographs of a real-world scene. But photogrammetry algorithms typically output an RGB texture atlas of the scene that only serves as visual guidance for skilled artists to create material maps suitable for physically-based rendering. We present a learning-based approach that automatically produces digital assets ready for physically-based rendering, by estimating approximate material maps from multi-view captures of indoor scenes that are used with retopologized geometry. We base our approach on a material estimation Convolutional Neural Network (CNN) that we execute on each input image. We leverage the view-dependent visual cues provided by the multiple observations of the scene by gathering, for each pixel of a given image, the color of the corresponding point in other images. This image-space CNN provides us with an ensemble of predictions, which we merge in texture space as the last step of our approach. Our results demonstrate that the recovered assets can be directly used for physically-based rendering and editing of real indoor scenes from any viewpoint and novel lighting. Our method generates approximate material maps in a fraction of time compared to the closest previous solutions.
• Abstract（参考訳）: 映画やビデオゲーム業界は、実世界のシーンの複数の写真からデジタル3dアセットを作成する方法として、フォトグラメトリーを採用した。 しかし、フォトグラメトリーアルゴリズムは通常、シーンのrgbテクスチャアトラスを出力し、熟練アーティストが物理的にベースとなるレンダリングに適したマテリアルマップを作成するための視覚的ガイダンスとしてのみ機能する。 本稿では,屋内シーンの多視点撮影から,物理的レンダリングに適したデジタルアセットを自動生成する学習ベースの手法を提案する。 提案手法は,各入力画像上で実行する材料推定畳み込みニューラルネットワーク(CNN)に基づく。 与えられた画像の各画素に対して、他の画像中の対応する点の色を収集することにより、シーンの複数の観察によって提供される視点依存の視覚手がかりを活用する。 この画像空間cnnは、私たちがアプローチの最後のステップとしてテクスチャ空間にマージする予測のアンサンブルを提供します。 以上の結果から, 回収した資産は, リアル屋内シーンの物理的レンダリングと編集に, あらゆる視点から, 斬新な照明で直接利用できることを示した。 提案手法は, 最寄りの解に比べて, 短時間で近似材料マップを生成する。

関連論文リスト

• Boosting Self-Supervision for Single-View Scene Completion via Knowledge Distillation [39.08243715525956]
  Structure from Motionを通して画像からシーン幾何学を推定することは、コンピュータビジョンにおける長年の根本的問題である。 ニューラルレイディアンス場(NeRF)の人気が高まり、暗黙の表現もシーン完了のために人気になった。 本稿では,複数の画像からシーン再構成を融合させ,その知識をより正確な単一視点のシーン再構成に変換することを提案する。
  論文  参考訳（メタデータ） (2024-04-11T17:30:24Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering [54.35405028643051]
  スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。 提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。 我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
  論文  参考訳（メタデータ） (2023-03-27T10:07:52Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• PhotoScene: Photorealistic Material and Lighting Transfer for Indoor Scenes [84.66946637534089]
  PhotoSceneは、シーンの入力画像を取得し、高品質な素材と同様の照明を備えたフォトリアリスティックデジタルツインを構築するフレームワークである。 プロシージャ素材グラフを用いてシーン素材をモデル化し、そのようなグラフはフォトリアリスティックおよび解像度非依存の材料を表す。 ScanNet, SUN RGB-D, ストック写真からのオブジェクトとレイアウトの再構築について検討し, 高品質で完全に再現可能な3Dシーンを再現できることを実証した。
  論文  参考訳（メタデータ） (2022-07-02T06:52:44Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。