論文の概要: Controllable Shadow Generation Using Pixel Height Maps

• arxiv url: http://arxiv.org/abs/2207.05385v1
• Date: Tue, 12 Jul 2022 08:29:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 15:05:06.535369
• Title: Controllable Shadow Generation Using Pixel Height Maps
• Title（参考訳）: ピクセル高さマップを用いた制御可能な影生成
• Authors: Yichen Sheng, Yifan Liu, Jianming Zhang, Wei Yin, A. Cengiz Oztireli, He Zhang, Zhe Lin, Eli Shechtman, Bedrich Benes
• Abstract要約: 物理ベースのシャドウレンダリング法は3次元のジオメトリーを必要とするが、必ずしも利用できない。 深層学習に基づく影合成法は、光情報から物体の影へのマッピングを、影の幾何学を明示的にモデル化することなく学習する。 オブジェクト,グラウンド,カメラのポーズ間の相関を符号化する新しい幾何学的表現であるピクセルハイを導入する。
• 参考スコア（独自算出の注目度）: 58.59256060452418
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Shadows are essential for realistic image compositing. Physics-based shadow rendering methods require 3D geometries, which are not always available. Deep learning-based shadow synthesis methods learn a mapping from the light information to an object's shadow without explicitly modeling the shadow geometry. Still, they lack control and are prone to visual artifacts. We introduce pixel heigh, a novel geometry representation that encodes the correlations between objects, ground, and camera pose. The pixel height can be calculated from 3D geometries, manually annotated on 2D images, and can also be predicted from a single-view RGB image by a supervised approach. It can be used to calculate hard shadows in a 2D image based on the projective geometry, providing precise control of the shadows' direction and shape. Furthermore, we propose a data-driven soft shadow generator to apply softness to a hard shadow based on a softness input parameter. Qualitative and quantitative evaluations demonstrate that the proposed pixel height significantly improves the quality of the shadow generation while allowing for controllability.
• Abstract（参考訳）: 影はリアルな画像合成に不可欠である。 物理ベースのシャドウレンダリング法は3次元のジオメトリーを必要とするが、必ずしも利用できない。 深層学習に基づく影合成法は、影の幾何学を明示的にモデル化することなく、光情報から物体の影へのマッピングを学ぶ。 それでも、コントロールがなく、ビジュアルなアーティファクトになりがちです。 オブジェクト,グラウンド,カメラのポーズ間の相関を符号化する新しい幾何学的表現であるピクセルハイを導入する。 画素の高さは3D測位から算出でき、手動で2D画像に注釈を付けることができ、また教師付きアプローチで一視点のRGB画像から予測することもできる。 投影幾何学に基づく2次元画像の硬い影の計算に使用することができ、影の方向と形状を正確に制御することができる。 さらに,ソフトネス入力パラメータに基づいたソフトネスをハードシャドウに適用するデータ駆動型ソフトシャドウ生成器を提案する。 定性的・定量的評価により,提案する画素高さはシャドウ生成の精度を大幅に向上し,制御性も向上した。

関連論文リスト

• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• Robust 3D Tracking with Quality-Aware Shape Completion [67.9748164949519]
  そこで本研究では,高密度および完全点の雲からなる合成対象表現について,ロバストな3次元追跡のための形状完備化により正確に表現する。 具体的には, 形状が整ったボキセル化3次元追跡フレームワークを設計し, ノイズのある歴史的予測の悪影響を軽減するために, 品質に配慮した形状完備化機構を提案する。
  論文  参考訳（メタデータ） (2023-12-17T04:50:24Z)
• PixHt-Lab: Pixel Height Based Light Effect Generation for Image Compositing [34.76980642388534]
  影や反射のような照明効果は、合成画像が現実的で視覚的に魅力的になるのに重要である。 このような効果を生成するために、従来のコンピュータグラフィックスは物理ベースと3D幾何学を用いている。 最近のディープラーニングベースのアプローチでは、ソフトシャドウと反射を生成するピクセルの高さ表現が導入されている。 本稿では,ピクセルの高さ表現から3次元空間への明示的なマッピングを利用するPixHt-Labを紹介する。
  論文  参考訳（メタデータ） (2023-02-28T23:52:01Z)
• Shadows Shed Light on 3D Objects [23.14510850163136]
  我々は、物体の3次元形状、ポーズ、光源の位置を推測できる微分可能な画像形成モデルを作成する。 我々のアプローチは、地上の暗黒マスクが未知の現実世界の画像に対して堅牢である。
  論文  参考訳（メタデータ） (2022-06-17T19:58:11Z)
• RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
  カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。 表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
  論文  参考訳（メタデータ） (2022-05-14T05:35:35Z)
• Towards Learning Neural Representations from Shadows [11.60149896896201]
  本稿では,シーンに存在する影のみから,ニューラルシーンの表現を学習する手法を提案する。 我々のフレームワークは高度に一般化可能であり、既存の3D再構成技術と協調して動作する。
  論文  参考訳（メタデータ） (2022-03-29T23:13:41Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
  現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。 本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。 提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
  論文  参考訳（メタデータ） (2021-09-20T15:09:22Z)
• SSN: Soft Shadow Network for Image Compositing [26.606890595862826]
  画像合成のための制御可能なソフトシャドウを生成するためのインタラクティブなソフトシャドウネットワーク(SSN)を導入する。 SSNは2Dオブジェクトマスクを入力として取り、ペインティングやベクトルアートのようなイメージタイプに依存しない。 環境光マップは、角度や柔らかさなどの影の特性を制御するために用いられる。
  論文  参考訳（メタデータ） (2020-07-16T09:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。