論文の概要: 3D Scene Creation and Rendering via Rough Meshes: A Lighting Transfer Avenue

• arxiv url: http://arxiv.org/abs/2211.14823v3
• Date: Tue, 19 Mar 2024 15:02:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 01:51:05.879963
• Title: 3D Scene Creation and Rendering via Rough Meshes: A Lighting Transfer Avenue
• Title（参考訳）: ラフメッシュによる3次元シーン作成とレンダリング:照明伝達アベニュー
• Authors: Bowen Cai, Yujie Li, Yuqin Liang, Rongfei Jia, Binqiang Zhao, Mingming Gong, Huan Fu,
• Abstract要約: 本稿では,再構成された3Dモデルを3Dシーン作成やレンダリングなどの実用的な3Dモデリングパイプラインに柔軟に統合する方法について述べる。 我々はNFRとPBRを橋渡しする照明伝達ネットワーク(LighTNet)を提案する。
• 参考スコア（独自算出の注目度）: 49.62477229140788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies how to flexibly integrate reconstructed 3D models into practical 3D modeling pipelines such as 3D scene creation and rendering. Due to the technical difficulty, one can only obtain rough 3D models (R3DMs) for most real objects using existing 3D reconstruction techniques. As a result, physically-based rendering (PBR) would render low-quality images or videos for scenes that are constructed by R3DMs. One promising solution would be representing real-world objects as Neural Fields such as NeRFs, which are able to generate photo-realistic renderings of an object under desired viewpoints. However, a drawback is that the synthesized views through Neural Fields Rendering (NFR) cannot reflect the simulated lighting details on R3DMs in PBR pipelines, especially when object interactions in the 3D scene creation cause local shadows. To solve this dilemma, we propose a lighting transfer network (LighTNet) to bridge NFR and PBR, such that they can benefit from each other. LighTNet reasons about a simplified image composition model, remedies the uneven surface issue caused by R3DMs, and is empowered by several perceptual-motivated constraints and a new Lab angle loss which enhances the contrast between lighting strength and colors. Comparisons demonstrate that LighTNet is superior in synthesizing impressive lighting, and is promising in pushing NFR further in practical 3D modeling workflows.
• Abstract（参考訳）: 本稿では,再構成された3Dモデルを3Dシーン作成やレンダリングなどの実用的な3Dモデリングパイプラインに柔軟に統合する方法について述べる。 技術的難しさから、既存の3D再構成技術を用いて、ほとんどの実物に対して粗い3Dモデル(R3DM)しか得られない。 その結果、物理ベースレンダリング(PBR)はR3DMで構築された低画質の画像やビデオを表示するようになった。 期待できる解決策の1つは、現実世界のオブジェクトをNeRFのようなニューラルフィールドとして表現し、望まれる視点の下でオブジェクトの写実的なレンダリングを生成することである。 しかし、ニューラルフィールドレンダリング(NFR)による合成ビューは、特に3次元シーン生成におけるオブジェクトの相互作用が局所影を引き起こす場合、PBRパイプラインにおけるR3DMのシミュレーションライティング詳細を反映できない。 このジレンマを解決するために,NFRとPBRを橋渡しする照明伝達ネットワーク(LighTNet)を提案する。 LighTNetは、簡易な画像合成モデルに関する理由から、R3DMによる表面の不均一な問題を是正し、いくつかの知覚的モチベーションを持つ制約と、照明強度と色とのコントラストを高める新しいLab角損失によって強化されている。 比較では、LighTNetは印象的な照明の合成に優れており、実用的な3DモデリングワークフローにおいてNFRをさらに推し進めることを約束している。

関連論文リスト

• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• UltrAvatar: A Realistic Animatable 3D Avatar Diffusion Model with Authenticity Guided Textures [80.047065473698]
  幾何学の忠実度を高めたUltrAvatarと呼ばれる新しい3次元アバター生成手法を提案し,光を必要とせずに物理ベースレンダリング(PBR)テクスチャの質を向上する。 提案手法の有効性とロバスト性を実証し,実験において最先端の手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2024-01-20T01:55:17Z)
• GO-NeRF: Generating Virtual Objects in Neural Radiance Fields [75.13534508391852]
  GO-NeRFは、既存のNeRF内の高品質で調和した3Dオブジェクト生成にシーンコンテキストを利用することができる。 本手法では,生成した3次元オブジェクトをシームレスにシーンに合成する構成的レンダリング形式を用いる。
  論文  参考訳（メタデータ） (2024-01-11T08:58:13Z)
• Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
  フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。 提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
  論文  参考訳（メタデータ） (2023-11-27T18:07:58Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• PixHt-Lab: Pixel Height Based Light Effect Generation for Image Compositing [34.76980642388534]
  影や反射のような照明効果は、合成画像が現実的で視覚的に魅力的になるのに重要である。 このような効果を生成するために、従来のコンピュータグラフィックスは物理ベースと3D幾何学を用いている。 最近のディープラーニングベースのアプローチでは、ソフトシャドウと反射を生成するピクセルの高さ表現が導入されている。 本稿では,ピクセルの高さ表現から3次元空間への明示的なマッピングを利用するPixHt-Labを紹介する。
  論文  参考訳（メタデータ） (2023-02-28T23:52:01Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。