論文の概要: Parametric Shadow Control for Portrait Generationin Text-to-Image Diffusion Models
- arxiv url: http://arxiv.org/abs/2503.21943v1
- Date: Thu, 27 Mar 2025 19:42:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-31 15:32:00.653859
- Title: Parametric Shadow Control for Portrait Generationin Text-to-Image Diffusion Models
- Title（参考訳）: テキスト-画像拡散モデルにおける画像生成のためのパラメトリックシャドウ制御
- Authors: Haoming Cai, Tsung-Wei Huang, Shiv Gehlot, Brandon Y. Feng, Sachin Shah, Guan-Ming Su, Christopher Metzler,
- Abstract要約: Shadow Directorは、よく訓練された拡散モデル内で隠れたシャドウ属性を抽出し、操作する手法である。
私たちのアプローチでは、数千の合成画像とトレーニング時間しか必要としない、小さな推定ネットワークを使用します。
- 参考スコア（独自算出の注目度）: 7.954962037463368
- License:
- Abstract: Text-to-image diffusion models excel at generating diverse portraits, but lack intuitive shadow control. Existing editing approaches, as post-processing, struggle to offer effective manipulation across diverse styles. Additionally, these methods either rely on expensive real-world light-stage data collection or require extensive computational resources for training. To address these limitations, we introduce Shadow Director, a method that extracts and manipulates hidden shadow attributes within well-trained diffusion models. Our approach uses a small estimation network that requires only a few thousand synthetic images and hours of training-no costly real-world light-stage data needed. Shadow Director enables parametric and intuitive control over shadow shape, placement, and intensity during portrait generation while preserving artistic integrity and identity across diverse styles. Despite training only on synthetic data built on real-world identities, it generalizes effectively to generated portraits with diverse styles, making it a more accessible and resource-friendly solution.
- Abstract（参考訳）: テキストと画像の拡散モデルは多彩なポートレートを生成するのに優れているが、直感的なシャドウコントロールは欠如している。
ポストプロセッシングのような既存の編集アプローチは、様々なスタイルで効果的な操作を提供するのに苦労する。
さらに、これらの手法は高価な実世界のライトステージデータ収集に依存するか、あるいはトレーニングに広範な計算資源を必要とする。
これらの制約に対処するために、よく訓練された拡散モデル内の隠れ影属性を抽出し、操作するShadow Directorを導入する。
我々のアプローチでは、数千の合成画像と、高価な実世界の光ステージデータを必要としない訓練時間しか必要としない、小さな推定ネットワークを使用します。
シャドウ・ディレクターは、様々なスタイルで芸術的整合性とアイデンティティを保ちながら、肖像画生成中の影の形、配置、強度をパラメトリックかつ直感的に制御できる。
現実世界のアイデンティティに基づいて構築された合成データのみをトレーニングするが、様々なスタイルで生成された肖像画を効果的に一般化し、よりアクセスしやすくリソースに優しいソリューションとなる。
関連論文リスト
- Towards Hard and Soft Shadow Removal via Dual-Branch Separation Network and Vision Transformer [0.0]
本稿では,ハードとソフトの影を別々に処理するデュアルパスモデルを提案する。
モデルはシャドウタイプを分類し、それらを適切な経路で処理し、シャドウフリーな出力を生成する。
我々のモデルは最先端の手法より優れ、ISTDデータセット上で2.905 RMSE値を達成する。
論文 参考訳（メタデータ） (2025-01-03T15:29:46Z) - Controllable Shadow Generation with Single-Step Diffusion Models from Synthetic Data [7.380444448047908]
本研究では,2次元オブジェクト画像の高速・制御可能・背景自由影生成のための新しい手法を提案する。
我々は3Dレンダリングエンジンを用いて大規模な合成データセットを作成し、制御可能なシャドウ生成のための拡散モデルを訓練する。
修正フローの目的は, リアルタイムアプリケーションを実現する1つのサンプリングステップで, 高品質な結果が得られることがわかった。
論文 参考訳（メタデータ） (2024-12-16T16:55:22Z) - Generative Portrait Shadow Removal [27.98144439007323]
我々は,肖像画のイメージを効果的に向上できる高忠実な肖像画影除去モデルを提案する。
また,本手法は,実環境で捕獲した多様な被験者に対して堅牢性を示す。
論文 参考訳（メタデータ） (2024-10-07T22:09:22Z) - Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。
影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。
この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
論文 参考訳（メタデータ） (2024-07-11T20:58:38Z) - LightIt: Illumination Modeling and Control for Diffusion Models [61.80461416451116]
我々は、画像生成のための明示的な照明制御方法であるLightItを紹介する。
最近の生成法では照明制御が欠如しており、画像生成の多くの芸術的側面に不可欠である。
本手法は、制御可能で一貫した照明による画像生成を可能にする最初の方法である。
論文 参考訳（メタデータ） (2024-03-15T18:26:33Z) - URHand: Universal Relightable Hands [64.25893653236912]
URHandは、視点、ポーズ、イルミネーション、アイデンティティを一般化する最初の普遍的照らし手モデルである。
本モデルでは,携帯電話で撮影した画像によるパーソナライズが可能であり,新たな照明下でのフォトリアリスティックなレンダリングが可能である。
論文 参考訳（メタデータ） (2024-01-10T18:59:51Z) - DiFaReli++: Diffusion Face Relighting with Consistent Cast Shadows [11.566896201650056]
我々は,グローバル照明やキャストシャドウといった課題に対処するため,自然界における単一視点の顔のリライティングに新たなアプローチを導入する。
我々は、1つのネットワークパスだけを必要とする単発リライトフレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-19T08:03:20Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T17:15:58Z) - Perspective Flow Aggregation for Data-Limited 6D Object Pose Estimation [121.02948087956955]
宇宙や水中の深層などのいくつかのアプリケーションでは、実際の画像を取得することは、注釈のないものであっても、事実上不可能である。
本稿では,合成画像のみに限定してトレーニングできる手法を提案する。
これは、アノテートされた実画像を必要としない場合、トレーニングのためにアノテートされた実画像を必要とするメソッドと同等に動作し、20個の実画像を使用する場合、かなりパフォーマンスが向上する。
論文 参考訳（メタデータ） (2022-03-18T10:20:21Z) - PhotoApp: Photorealistic Appearance Editing of Head Portraits [97.23638022484153]
本稿では,ポートレート画像におけるカメラ視点とシーン照明の高品質な直感的編集手法を提案する。
ほとんどの編集アプローチは、光やカメラステージといった設定でキャプチャされたトレーニングデータを使用した教師あり学習に依存している。
StyleGANの潜在空間で学習する監督問題を設計します。
これは、教師付き学習と生成的敵対的モデリングのベストを組み合わせる。
論文 参考訳（メタデータ） (2021-03-13T08:59:49Z) - Portrait Shadow Manipulation [37.414681268753526]
カジュアルに撮られた肖像画は、環境の最適下条件のため、光や影のぼやけに悩まされることが多い。
我々は、カジュアルな写真家にこの制御を一部与え、現実的で容易に制御可能な方法で、低照度な肖像画をポストキャプチャーに頼らせることができる計算手法を提案する。
我々のアプローチは、外部の物体が投げる異物の影を除去するニューラルネットワークと、被写体の特徴が投げる顔の影を和らげるニューラルネットワークと、照明率を改善するための合成フィリング光を加えることに依存している。
論文 参考訳（メタデータ） (2020-05-18T17:51:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。