論文の概要: PhotoScene: Photorealistic Material and Lighting Transfer for Indoor Scenes

• arxiv url: http://arxiv.org/abs/2207.00757v1
• Date: Sat, 2 Jul 2022 06:52:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 14:38:44.152357
• Title: PhotoScene: Photorealistic Material and Lighting Transfer for Indoor Scenes
• Title（参考訳）: PhotoScene: 室内シーンのためのフォトリアリスティック素材と照明伝達
• Authors: Yu-Ying Yeh, Zhengqin Li, Yannick Hold-Geoffroy, Rui Zhu, Zexiang Xu, Milo\v{s} Ha\v{s}an, Kalyan Sunkavalli, Manmohan Chandraker
• Abstract要約: PhotoSceneは、シーンの入力画像を取得し、高品質な素材と同様の照明を備えたフォトリアリスティックデジタルツインを構築するフレームワークである。 プロシージャ素材グラフを用いてシーン素材をモデル化し、そのようなグラフはフォトリアリスティックおよび解像度非依存の材料を表す。 ScanNet, SUN RGB-D, ストック写真からのオブジェクトとレイアウトの再構築について検討し, 高品質で完全に再現可能な3Dシーンを再現できることを実証した。
• 参考スコア（独自算出の注目度）: 84.66946637534089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most indoor 3D scene reconstruction methods focus on recovering 3D geometry and scene layout. In this work, we go beyond this to propose PhotoScene, a framework that takes input image(s) of a scene along with approximately aligned CAD geometry (either reconstructed automatically or manually specified) and builds a photorealistic digital twin with high-quality materials and similar lighting. We model scene materials using procedural material graphs; such graphs represent photorealistic and resolution-independent materials. We optimize the parameters of these graphs and their texture scale and rotation, as well as the scene lighting to best match the input image via a differentiable rendering layer. We evaluate our technique on objects and layout reconstructions from ScanNet, SUN RGB-D and stock photographs, and demonstrate that our method reconstructs high-quality, fully relightable 3D scenes that can be re-rendered under arbitrary viewpoints, zooms and lighting.
• Abstract（参考訳）: ほとんどの屋内3dシーン再構成手法は、3dジオメトリとシーンレイアウトの復元に焦点を当てている。 そこで本研究では,シーンの入力画像(s)と,ほぼ整列したcad形状(自動あるいは手動で再構成)を取り,高品質な材料と類似の照明を備えたフォトリアリスティックなデジタル双生児を製作する枠組みであるphotosceneを提案する。 プロシージャ素材グラフを用いてシーン素材をモデル化し、そのようなグラフはフォトリアリスティックおよび解像度非依存の材料を表す。 これらのグラフのパラメータとそれらのテクスチャスケールと回転を最適化し、シーンライティングにより、異なるレンダリング層を介して入力画像に最適なマッチングを行う。 ScanNet, SUN RGB-D, ストック写真からのオブジェクトとレイアウトの再構成について評価し, 任意の視点, ズーム, ライティングで再レンダリング可能な高品質で完全照度の高い3Dシーンを再構成できることを実証した。

関連論文リスト

• Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering [56.68286440268329]
  現実世界のシーンの画像に仮想オブジェクトを正しく挿入するには、シーンの照明、幾何学、材料を深く理解する必要がある。 本稿では,物理ベースの逆レンダリングプロセスへのガイダンスとして,パーソナライズされた大規模拡散モデルを提案する。 本手法は,シーンライティングとトーンマッピングのパラメータを復元し,任意の仮想オブジェクトの光リアルな構成を室内や屋外のシーンの単一フレームやビデオで再現する。
  論文  参考訳（メタデータ） (2024-08-19T05:15:45Z)
• PSDR-Room: Single Photo to Scene using Differentiable Rendering [18.23851486874071]
  3Dデジタルシーンには、光、材料、ジオメトリーといった多くのコンポーネントが含まれており、望ましい外観に到達するために相互作用する。 室内シーンのターゲット画像を最小限のユーザ入力で一致させるため,PSDR-Roomは照明だけでなく,個々のオブジェクトのポーズや素材を最適化するシステムである。
  論文  参考訳（メタデータ） (2023-07-06T18:17:59Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Realistic Image Synthesis with Configurable 3D Scene Layouts [59.872657806747576]
  本稿では,3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。 提案手法では, セマンティッククラスラベルを入力として3Dシーンを抽出し, 3Dシーンの描画ネットワークを訓練する。 訓練された絵画ネットワークにより、入力された3Dシーンのリアルな外観の画像を描画し、操作することができる。
  論文  参考訳（メタデータ） (2021-08-23T09:44:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。