論文の概要: Generative Portrait Shadow Removal

• arxiv url: http://arxiv.org/abs/2410.05525v1
• Date: Mon, 7 Oct 2024 22:09:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 18:08:20.593785
• Title: Generative Portrait Shadow Removal
• Title（参考訳）: 画像の陰影除去
• Authors: Jae Shin Yoon, Zhixin Shu, Mengwei Ren, Xuaner Zhang, Yannick Hold-Geoffroy, Krishna Kumar Singh, He Zhang,
• Abstract要約: 我々は,肖像画のイメージを効果的に向上できる高忠実な肖像画影除去モデルを提案する。 また,本手法は,実環境で捕獲した多様な被験者に対して堅牢性を示す。
• 参考スコア（独自算出の注目度）: 27.98144439007323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a high-fidelity portrait shadow removal model that can effectively enhance the image of a portrait by predicting its appearance under disturbing shadows and highlights. Portrait shadow removal is a highly ill-posed problem where multiple plausible solutions can be found based on a single image. While existing works have solved this problem by predicting the appearance residuals that can propagate local shadow distribution, such methods are often incomplete and lead to unnatural predictions, especially for portraits with hard shadows. We overcome the limitations of existing local propagation methods by formulating the removal problem as a generation task where a diffusion model learns to globally rebuild the human appearance from scratch as a condition of an input portrait image. For robust and natural shadow removal, we propose to train the diffusion model with a compositional repurposing framework: a pre-trained text-guided image generation model is first fine-tuned to harmonize the lighting and color of the foreground with a background scene by using a background harmonization dataset; and then the model is further fine-tuned to generate a shadow-free portrait image via a shadow-paired dataset. To overcome the limitation of losing fine details in the latent diffusion model, we propose a guided-upsampling network to restore the original high-frequency details (wrinkles and dots) from the input image. To enable our compositional training framework, we construct a high-fidelity and large-scale dataset using a lightstage capturing system and synthetic graphics simulation. Our generative framework effectively removes shadows caused by both self and external occlusions while maintaining original lighting distribution and high-frequency details. Our method also demonstrates robustness to diverse subjects captured in real environments.
• Abstract（参考訳）: 本研究では,その外観を乱す影やハイライト下で予測することにより,肖像画のイメージを効果的に向上する高忠実な肖像画影除去モデルを提案する。 ポートレートシャドウ除去は、単一の画像に基づいて複数の可視解が見つかるという、非常に不適切な問題である。 既存の研究は、局所的な影の分布を伝播できる外観残差を予測することによってこの問題を解決しているが、そのような手法はしばしば不完全であり、特に硬い影を持つ肖像画に対して不自然な予測をもたらす。 本研究では,既存の局所伝播手法の限界を,拡散モデルがスクラッチから人間の外観を大域的に再構築することを学習する生成タスクとして定式化することで克服する。 まず、背景調和データセットを用いて前景の照明と色を背景環境と調和させるために、事前訓練されたテキスト誘導画像生成モデルを微調整し、さらに微調整して、影対応データセットを介して、影のないポートレート画像を生成する。 遅延拡散モデルにおける細かな詳細の損失の限界を克服するため、入力画像から元の高周波の詳細(しわと点)を復元するガイドアップサンプリングネットワークを提案する。 コンポジショントレーニングフレームワークを実現するために,光ステージキャプチャシステムと合成グラフィックスシミュレーションを用いて,高忠実で大規模なデータセットを構築した。 生成フレームワークは,光の本来の分布と高周波の詳細を維持しつつ,自己および外部の閉塞による影を効果的に除去する。 また,本手法は,実環境で捕獲した多様な被験者に対して堅牢性を示す。

関連論文リスト

• Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
  本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。 実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。 特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• Latent Feature-Guided Diffusion Models for Shadow Removal [50.02857194218859]
  本稿では,拡散過程における影領域の詳細を段階的に洗練する,有望なアプローチとして拡散モデルの利用を提案する。 シャドウフリー画像の特徴を継承する学習された潜在特徴空間を条件付けすることで,この処理を改善する。 AISTDデータセット上でRMSEを13%向上させる手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-12-04T18:59:55Z)
• Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
  Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。 我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。 我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
  論文  参考訳（メタデータ） (2023-09-18T09:36:24Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• ShadowDiffusion: When Degradation Prior Meets Diffusion Model for Shadow Removal [74.86415440438051]
  画像と劣化先行情報を統合した統合拡散フレームワークを提案する。 SRDデータセット上でのPSNRは31.69dBから34.73dBへと大幅に向上した。
  論文  参考訳（メタデータ） (2022-12-09T07:48:30Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• Unsupervised Portrait Shadow Removal via Generative Priors [37.46753287881341]
  トレーニングデータなしで肖像画の影を除去するための最初の教師なし手法を提案する。 私たちのキーとなるアイデアは、既成のStyleGAN2に埋め込まれた生成的な顔の事前情報を活用することです。 私たちのアプローチは、ポートレートタトゥーの削除や透かしの除去にも適用できます。
  論文  参考訳（メタデータ） (2021-08-07T15:09:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。