論文の概要: Controllable Shadow Generation with Single-Step Diffusion Models from Synthetic Data

• arxiv url: http://arxiv.org/abs/2412.11972v1
• Date: Mon, 16 Dec 2024 16:55:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:56:38.238142
• Title: Controllable Shadow Generation with Single-Step Diffusion Models from Synthetic Data
• Title（参考訳）: 合成データからの単一ステップ拡散モデルによるシャドウ生成制御
• Authors: Onur Tasar, Clément Chadebec, Benjamin Aubin,
• Abstract要約: 本研究では,2次元オブジェクト画像の高速・制御可能・背景自由影生成のための新しい手法を提案する。 我々は3Dレンダリングエンジンを用いて大規模な合成データセットを作成し、制御可能なシャドウ生成のための拡散モデルを訓練する。 修正フローの目的は, リアルタイムアプリケーションを実現する1つのサンプリングステップで, 高品質な結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 7.380444448047908
• License:
• Abstract: Realistic shadow generation is a critical component for high-quality image compositing and visual effects, yet existing methods suffer from certain limitations: Physics-based approaches require a 3D scene geometry, which is often unavailable, while learning-based techniques struggle with control and visual artifacts. We introduce a novel method for fast, controllable, and background-free shadow generation for 2D object images. We create a large synthetic dataset using a 3D rendering engine to train a diffusion model for controllable shadow generation, generating shadow maps for diverse light source parameters. Through extensive ablation studies, we find that rectified flow objective achieves high-quality results with just a single sampling step enabling real-time applications. Furthermore, our experiments demonstrate that the model generalizes well to real-world images. To facilitate further research in evaluating quality and controllability in shadow generation, we release a new public benchmark containing a diverse set of object images and shadow maps in various settings. The project page is available at https://gojasper.github.io/controllable-shadow-generation-project/
• Abstract（参考訳）: 物理ベースのアプローチでは、しばしば利用できない3Dシーンの幾何学を必要とするが、学習ベースの手法は制御や視覚的アーティファクトに苦しむ。 本研究では,2次元オブジェクト画像の高速・制御可能・背景自由影生成のための新しい手法を提案する。 我々は3Dレンダリングエンジンを用いて大規模な合成データセットを作成し、制御可能なシャドウ生成のための拡散モデルを訓練し、多様な光源パラメータのシャドウマップを生成する。 広範囲にわたるアブレーション研究により, 修正流れの目的は, リアルタイムアプリケーションを実現する1つのサンプリングステップで, 高品質な結果が得られることがわかった。 さらに,本実験では,実世界の画像に対して,モデルが一般化できることを実証した。 影生成における品質と制御性を評価するためのさらなる研究を容易にするため,多様なオブジェクト画像と影マップを多種多様な設定で含む新しい公開ベンチマークを公表した。 プロジェクトページはhttps://gojasper.github.io/controllable-shadow-generation-project/にある。

関連論文リスト

• 3D Object Manipulation in a Single Image using Generative Models [30.241857090353864]
  拡散モデルの生成力と正確な幾何学的制御を統合する新しいフレームワークである textbfOMG3D を紹介する。 筆者らのフレームワークはまず2Dオブジェクトを3Dに変換し,幾何学レベルでのユーザ指向の修正やライフライクな動作を可能にする。 注目すべきなのは、これらのステップはすべて、NVIDIA 3090を使って行うことができることだ。
  論文  参考訳（メタデータ） (2025-01-22T15:06:30Z)
• GenLit: Reformulating Single-Image Relighting as Video Generation [44.409962561291216]
  我々は、映像生成モデルに光操作を行うためのグラフィックスエンジンの能力を蒸留するフレームワークであるGenLitを紹介する。 我々は、小さな合成データセットのみに微調整されたモデルが、実際の画像に一般化可能であることを発見した。
  論文  参考訳（メタデータ） (2024-12-15T15:40:40Z)
• GeoGen: Geometry-Aware Generative Modeling via Signed Distance Functions [22.077366472693395]
  単一ビューコレクションから3次元形状と画像を合成するための新しい生成手法を提案する。 ニューラルラディアンス場を用いたボリュームレンダリングを用いることで、生成した幾何学はノイズが多く、制約がないという重要な制限を継承する。 エンド・ツー・エンドで訓練された新しいSDFベースの3D生成モデルであるGeoGenを提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:00:10Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• Controllable Shadow Generation Using Pixel Height Maps [58.59256060452418]
  物理ベースのシャドウレンダリング法は3次元のジオメトリーを必要とするが、必ずしも利用できない。 深層学習に基づく影合成法は、光情報から物体の影へのマッピングを、影の幾何学を明示的にモデル化することなく学習する。 オブジェクト,グラウンド,カメラのポーズ間の相関を符号化する新しい幾何学的表現であるピクセルハイを導入する。
  論文  参考訳（メタデータ） (2022-07-12T08:29:51Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
  本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。 VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
  論文  参考訳（メタデータ） (2020-07-14T14:45:00Z)
• GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis [43.4859484191223]
  近年,単一シーンの新規なビュー合成に成功している放射場生成モデルを提案する。 マルチスケールのパッチベース判別器を導入し,非姿勢の2次元画像からモデルを訓練しながら高解像度画像の合成を実演する。
  論文  参考訳（メタデータ） (2020-07-05T20:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。