論文の概要: Analyzing and Improving the Skin Tone Consistency and Bias in Implicit 3D Relightable Face Generators

• arxiv url: http://arxiv.org/abs/2411.12002v1
• Date: Mon, 18 Nov 2024 19:38:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:36:47.026762
• Title: Analyzing and Improving the Skin Tone Consistency and Bias in Implicit 3D Relightable Face Generators
• Title（参考訳）: 難燃性3次元顔発電機における肌音の整合性とバイアスの解析と改善
• Authors: Libing Zeng, Nima Khademi Kalantari,
• Abstract要約: 我々は,より軽い肌色で偏りのあるアルベド画像の問題を緩和する戦略を提案する。 また、生成した画像の照明量の分布とトレーニングデータとを一致させるスケーリング戦略を提案する。
• 参考スコア（独自算出の注目度）: 6.175211259659976
• License:
• Abstract: With the advances in generative adversarial networks (GANs) and neural rendering, 3D relightable face generation has received significant attention. Among the existing methods, a particularly successful technique uses an implicit lighting representation and generates relit images through the product of synthesized albedo and light-dependent shading images. While this approach produces high-quality results with intricate shading details, it often has difficulty producing relit images with consistent skin tones, particularly when the lighting condition is extracted from images of individuals with dark skin. Additionally, this technique is biased towards producing albedo images with lighter skin tones. Our main observation is that this problem is rooted in the biased spherical harmonics (SH) coefficients, used during training. Following this observation, we conduct an analysis and demonstrate that the bias appears not only in band 0 (DC term), but also in the other bands of the estimated SH coefficients. We then propose a simple, but effective, strategy to mitigate the problem. Specifically, we normalize the SH coefficients by their DC term to eliminate the inherent magnitude bias, while statistically align the coefficients in the other bands to alleviate the directional bias. We also propose a scaling strategy to match the distribution of illumination magnitude in the generated images with the training data. Through extensive experiments, we demonstrate the effectiveness of our solution in increasing the skin tone consistency and mitigating bias.
• Abstract（参考訳）: GAN(Generative Adversarial Network)とニューラルレンダリングの進歩により、3Dライティング可能な顔生成が注目されている。 既存の手法の中で、特に成功した技術は暗黙の照明表現を使い、合成アルベドと光依存シェーディング画像の産物によって、信頼された画像を生成する。 このアプローチは、複雑なシェーディングの詳細を持つ高品質な結果をもたらすが、特に暗い肌の人物の画像から照明条件が抽出される場合、一貫した肌の色調を持つ忠実な画像を作るのが困難であることが多い。 また、この技法は、より軽い肌の色調でアルベド画像を生成することに偏っている。 本研究の主目的は, この問題は, 訓練時に用いられる球面調和係数(SH係数)に根ざすことである。 この観察の後、我々は分析を行い、このバイアスがバンド0(DC項)だけでなく、推定SH係数の他のバンドにも現れることを示した。 次に、問題を緩和するためのシンプルで効果的な戦略を提案する。 具体的には、直流項によるSH係数の正規化を行い、固有大きさバイアスを排除しつつ、他の帯域の係数を統計的に整列させて方向バイアスを緩和する。 また、生成した画像の照明量の分布とトレーニングデータとを一致させるスケーリング戦略を提案する。 広範な実験を通じて,皮膚の緊張性を高め,偏りを緩和する解法の有効性を実証した。

関連論文リスト

• Flash Cache: Reducing Bias in Radiance Cache Based Inverse Rendering [62.92985004295714]
  本稿では,レンダリングに偏りをもたらす近似を回避し,最適化に用いた勾配を求める手法を提案する。 これらのバイアスを除去することで、逆レンダリングに基づくレーダランスキャッシュの一般化が向上し、スペクトル反射のような光輸送効果に挑戦する際の品質が向上することを示す。
  論文  参考訳（メタデータ） (2024-09-09T17:59:57Z)
• 3D Gaussian Splatting with Deferred Reflection [25.254842246219585]
  本稿では,ガウススプラッティングによるスペクトル反射の遅延シェーディング法を提案する。 提案手法は,高品質なスペクトル反射効果の合成における最先端技術と同時処理を著しく上回っている。
  論文  参考訳（メタデータ） (2024-04-29T06:24:32Z)
• Gadolinium dose reduction for brain MRI using conditional deep learning [66.99830668082234]
  これらの手法の主な課題は、コントラスト強調の正確な予測と現実的な画像の合成である。 コントラスト前の画像対とコントラスト後の画像対のサブトラクション画像に符号化されたコントラスト信号を利用することで、両課題に対処する。 各種スキャナー,フィールド強度,コントラストエージェントを用いた合成および実データに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-06T08:35:29Z)
• Bootstrap Diffusion Model Curve Estimation for High Resolution Low-Light Image Enhancement [16.35696535606822]
  BDCEは、通常の光画像ではなく、曲線パラメータの分布の学習を利用する。 最先端の質的、定量的なパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-09-26T07:04:47Z)
• Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
  Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。 我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。 我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
  論文  参考訳（メタデータ） (2023-09-18T09:36:24Z)
• ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
  この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。 提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。 提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
  論文  参考訳（メタデータ） (2023-07-15T04:48:35Z)
• Deep Uncalibrated Photometric Stereo via Inter-Intra Image Feature Fusion [17.686973510425172]
  本稿では, 深部非校正光度ステレオの新しい手法を提案する。 画像間表現を効率的に利用し、正規推定を導出する。 本手法は, 合成データと実データの両方において, 最先端の手法よりも有意に優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-08-06T03:59:54Z)
• Low-Light Image Enhancement with Normalizing Flow [92.52290821418778]
  本稿では,この一対多の関係を正規化フローモデルを用いてモデル化する。 低照度画像/特徴を条件として取り、通常露光される画像の分布をガウス分布にマッピングすることを学ぶ可逆ネットワーク。 既存のベンチマークデータセットによる実験結果から,提案手法はより定量的,質的な結果を得ることができ,照度が良く,ノイズやアーティファクトが小さく,色も豊かになることがわかった。
  論文  参考訳（メタデータ） (2021-09-13T12:45:08Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)
• Solving Linear Inverse Problems Using the Prior Implicit in a Denoiser [7.7288480250888]
  我々は、ディープニューラルネットワークにおける暗黙の事前利用のための堅牢で一般的な手法を開発した。 ブラインド(ノイズレベルが未知の)を訓練したCNNが提示される。 このアルゴリズムの制約サンプリングへの一般化は、任意の線形逆問題を解決するために暗黙の手法を提供する。
  論文  参考訳（メタデータ） (2020-07-27T15:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。