論文の概要: PixHt-Lab: Pixel Height Based Light Effect Generation for Image Compositing

• arxiv url: http://arxiv.org/abs/2303.00137v1
• Date: Tue, 28 Feb 2023 23:52:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 16:26:59.480964
• Title: PixHt-Lab: Pixel Height Based Light Effect Generation for Image Compositing
• Title（参考訳）: PixHt-Lab:画像合成のための画素高さに基づく光効果生成
• Authors: Yichen Sheng, Jianming Zhang, Julien Philip, Yannick Hold-Geoffroy, Xin Sun, HE Zhang, Lu Ling, Bedrich Benes
• Abstract要約: 影や反射のような照明効果は、合成画像が現実的で視覚的に魅力的になるのに重要である。 このような効果を生成するために、従来のコンピュータグラフィックスは物理ベースと3D幾何学を用いている。 最近のディープラーニングベースのアプローチでは、ソフトシャドウと反射を生成するピクセルの高さ表現が導入されている。 本稿では,ピクセルの高さ表現から3次元空間への明示的なマッピングを利用するPixHt-Labを紹介する。
• 参考スコア（独自算出の注目度）: 34.76980642388534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lighting effects such as shadows or reflections are key in making synthetic images realistic and visually appealing. To generate such effects, traditional computer graphics uses a physically-based renderer along with 3D geometry. To compensate for the lack of geometry in 2D Image compositing, recent deep learning-based approaches introduced a pixel height representation to generate soft shadows and reflections. However, the lack of geometry limits the quality of the generated soft shadows and constrain reflections to pure specular ones. We introduce PixHt-Lab, a system leveraging an explicit mapping from pixel height representation to 3D space. Using this mapping, PixHt-Lab reconstructs both the cutout and background geometry and renders realistic, diverse, lighting effects for image compositing. Given a surface with physically-based materials, we can render reflections with varying glossiness. To generate more realistic soft shadows, we further propose to use 3D-aware buffer channels to guide a neural renderer. Both quantitative and qualitative evaluations demonstrate that PixHt-Lab significantly improves soft shadow generation.
• Abstract（参考訳）: シャドウやリフレクションなどの照明効果は、合成画像を写実的で視覚的に魅力的なものにするための鍵となる。 このような効果を生成するために、従来のコンピュータグラフィックスは物理ベースのレンダラーと3D幾何学を使用する。 2次元画像合成における幾何学の欠如を補うため、ディープラーニングに基づく最近のアプローチでは、ソフトシャドウと反射を生成するピクセル高さ表現が導入されている。 しかし、幾何学の欠如は生成したソフトシャドウの品質を制限し、反射を純粋な鏡面に制限する。 PixHt-Labは,ピクセルの高さ表現から3次元空間への明示的なマッピングを利用するシステムである。 このマッピングを使ってpixht-labはカットアウトと背景の両方を再構成し、画像合成のためのリアルで多彩な照明効果をレンダリングする。 表面を物理的に基づいた素材が与えられると、様々な光沢を持つ反射をレンダリングできる。 さらに,より現実的なソフトシャドウを生成するために,ニューラルレンダラーを誘導する3D対応バッファチャネルを提案する。 定量的および定性的評価は、PixHt-Labがソフトシャドウ生成を著しく改善することを示している。

関連論文リスト

• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• 3D Scene Creation and Rendering via Rough Meshes: A Lighting Transfer Avenue [49.62477229140788]
  本稿では,再構成された3Dモデルを3Dシーン作成やレンダリングなどの実用的な3Dモデリングパイプラインに柔軟に統合する方法について述べる。 我々はNFRとPBRを橋渡しする照明伝達ネットワーク(LighTNet)を提案する。
  論文  参考訳（メタデータ） (2022-11-27T13:31:00Z)
• Controllable Shadow Generation Using Pixel Height Maps [58.59256060452418]
  物理ベースのシャドウレンダリング法は3次元のジオメトリーを必要とするが、必ずしも利用できない。 深層学習に基づく影合成法は、光情報から物体の影へのマッピングを、影の幾何学を明示的にモデル化することなく学習する。 オブジェクト,グラウンド,カメラのポーズ間の相関を符号化する新しい幾何学的表現であるピクセルハイを導入する。
  論文  参考訳（メタデータ） (2022-07-12T08:29:51Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。