論文の概要: PSDR-Room: Single Photo to Scene using Differentiable Rendering

• arxiv url: http://arxiv.org/abs/2307.03244v1
• Date: Thu, 6 Jul 2023 18:17:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 14:18:38.960257
• Title: PSDR-Room: Single Photo to Scene using Differentiable Rendering
• Title（参考訳）: PSDR-Room:微分レンダリングによる写真からシーンまで
• Authors: Kai Yan, Fujun Luan, Milo\v{S} Ha\v{S}An, Thibault Groueix, Valentin Deschaintre, Shuang Zhao
• Abstract要約: 3Dデジタルシーンには、光、材料、ジオメトリーといった多くのコンポーネントが含まれており、望ましい外観に到達するために相互作用する。 室内シーンのターゲット画像を最小限のユーザ入力で一致させるため,PSDR-Roomは照明だけでなく,個々のオブジェクトのポーズや素材を最適化するシステムである。
• 参考スコア（独自算出の注目度）: 18.23851486874071
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A 3D digital scene contains many components: lights, materials and geometries, interacting to reach the desired appearance. Staging such a scene is time-consuming and requires both artistic and technical skills. In this work, we propose PSDR-Room, a system allowing to optimize lighting as well as the pose and materials of individual objects to match a target image of a room scene, with minimal user input. To this end, we leverage a recent path-space differentiable rendering approach that provides unbiased gradients of the rendering with respect to geometry, lighting, and procedural materials, allowing us to optimize all of these components using gradient descent to visually match the input photo appearance. We use recent single-image scene understanding methods to initialize the optimization and search for appropriate 3D models and materials. We evaluate our method on real photographs of indoor scenes and demonstrate the editability of the resulting scene components.
• Abstract（参考訳）: 3dデジタルシーンにはライト、素材、ジオメトリなど多くの要素が含まれており、望ましい外観に達するために相互作用する。 このようなシーンのステージングには時間がかかり、芸術と技術の両方のスキルが必要です。 そこで本研究では,PSDR-Roomを提案する。PSDR-Roomは,室内シーンのターゲット画像を最小限のユーザ入力でマッチングするための,個々のオブジェクトのポーズや素材を最適化するシステムである。 この目的のために、我々は最近の経路空間の微分可能なレンダリング手法を活用し、幾何学、照明、手続き材料に対するレンダリングの偏りのない勾配を提供し、これらすべてのコンポーネントを勾配勾配を用いて最適化し、入力された写真外観と視覚的に一致させることができる。 我々は,最近のシーン理解手法を用いて,最適化を初期化し,適切な3次元モデルや材料を探索する。 本手法を屋内シーンの実際の写真上で評価し,得られたシーンコンポーネントの編集性を示す。

関連論文リスト

• Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering [56.68286440268329]
  現実世界のシーンの画像に仮想オブジェクトを正しく挿入するには、シーンの照明、幾何学、材料を深く理解する必要がある。 本稿では,物理ベースの逆レンダリングプロセスへのガイダンスとして,パーソナライズされた大規模拡散モデルを提案する。 本手法は,シーンライティングとトーンマッピングのパラメータを復元し,任意の仮想オブジェクトの光リアルな構成を室内や屋外のシーンの単一フレームやビデオで再現する。
  論文  参考訳（メタデータ） (2024-08-19T05:15:45Z)
• IRIS: Inverse Rendering of Indoor Scenes from Low Dynamic Range Images [32.83096814910201]
  本稿では,多視点低ダイナミックレンジ(LDR)画像からシーンの物理的特性と照明を復元する手法を提案する。 提案手法は,LDR画像を入力として利用する既存の手法よりも優れており,リアルなリライティングやオブジェクト挿入を実現している。
  論文  参考訳（メタデータ） (2024-01-23T18:59:56Z)
• Scene-Conditional 3D Object Stylization and Composition [30.120066605881448]
  3D生成モデルは驚くべき進歩を遂げており、テキストや画像入力からほぼ任意の3Dアセットを生成することができる。 本稿では,既存の3Dアセットのスタイル化を与えられた2Dシーンに適合させるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T18:50:33Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• MAIR: Multi-view Attention Inverse Rendering with 3D Spatially-Varying Lighting Estimation [13.325800282424598]
  マルチビュー画像を用いてシーンを幾何学、SVBRDF、3次元空間的に変化する照明に分解するシーンレベルの逆レンダリングフレームワークを提案する。 実験の結果,提案手法はシングルビュー方式よりも優れた性能を示すが,実世界のシーンでは頑健な性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-03-22T08:07:28Z)
• PhotoScene: Photorealistic Material and Lighting Transfer for Indoor Scenes [84.66946637534089]
  PhotoSceneは、シーンの入力画像を取得し、高品質な素材と同様の照明を備えたフォトリアリスティックデジタルツインを構築するフレームワークである。 プロシージャ素材グラフを用いてシーン素材をモデル化し、そのようなグラフはフォトリアリスティックおよび解像度非依存の材料を表す。 ScanNet, SUN RGB-D, ストック写真からのオブジェクトとレイアウトの再構築について検討し, 高品質で完全に再現可能な3Dシーンを再現できることを実証した。
  論文  参考訳（メタデータ） (2022-07-02T06:52:44Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。