論文の概要: Enriching StyleGAN with Illumination Physics

• arxiv url: http://arxiv.org/abs/2205.10351v1
• Date: Fri, 20 May 2022 17:59:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 15:09:49.572643
• Title: Enriching StyleGAN with Illumination Physics
• Title（参考訳）: 照明物理によるスタイルGANの濃縮
• Authors: Anand Bhattad and D.A. Forsyth
• Abstract要約: StyleGANは遅延コードから画像を生成します。 本稿では,StyleGANの生成能力を高めるために,画像の簡単な物理特性を利用する方法を示す。
• 参考スコア（独自算出の注目度）: 1.933681537640272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: StyleGAN generates novel images of a scene from latent codes which are impressively disentangled. But StyleGAN generates images that are "like" its training set. This paper shows how to use simple physical properties of images to enrich StyleGAN's generation capacity. We use an intrinsic image method to decompose an image, then search the latent space of a pretrained StyleGAN to find novel directions that fix one component (say, albedo) and vary another (say, shading). Therefore, we can change the lighting of a complex scene without changing the scene layout, object colors, and shapes. Or we can change the colors of objects without changing shading intensity or their scene layout. Our experiments suggest the proposed method, StyLitGAN, can add and remove luminaires in the scene and generate images with realistic lighting effects -- cast shadows, soft shadows, inter-reflections, glossy effects -- requiring no labeled paired relighting data or any other geometric supervision. Qualitative evaluation confirms that our generated images are realistic and that we can change or fix components at will. Quantitative evaluation shows that pre-trained StyleGAN could not produce the images StyLitGAN produces; we can automatically generate realistic out-of-distribution images, and so can significantly enrich the range of images StyleGAN can produce.
• Abstract（参考訳）: StyleGANは、遅延コードからシーンの新たなイメージを生成します。 しかしStyleGANはそのトレーニングセットを“類似”したイメージを生成する。 本稿では,StyleGANの生成能力を高めるために,画像の簡単な物理特性を利用する方法を示す。 画像の分解に本質的画像法を用い,事前学習されたスタイルガンの潜在空間を探索し,ある成分(アルベドなど)を固定し,別の成分(シェーディングなど)を変更する新しい方向を求める。 したがって、シーンレイアウトやオブジェクトの色、形状を変えることなく、複雑なシーンの照明を変えることができる。 あるいは、シェーディング強度やシーンレイアウトを変えることなく、オブジェクトの色を変えることもできます。 我々の実験は、提案手法であるStyLitGANがシーンに照明器具を追加・除去し、リアルな照明効果(影のキャスト、柔らかい影、反射間反射、光沢のある効果)で画像を生成することができることを示唆している。 定性的評価は、生成したイメージがリアルであり、コンポーネントを自由に変更または修正できることを確認する。 事前学習したStyleGANは,StyLitGANが生成するイメージを生成できないことを示す定量的評価を行い,現実的なアウト・オブ・ディストリビューション画像を自動的に生成できるので,StyleGANが生成できる画像の範囲を大幅に拡大することができる。

関連論文リスト

• Materialist: Physically Based Editing Using Single-Image Inverse Rendering [50.39048790589746]
  本稿では、学習に基づくアプローチとプログレッシブな微分可能レンダリングを組み合わせた手法を提案する。 提案手法は,より現実的な光物質相互作用,正確な影,大域的な照明を実現する。 また,全シーン形状を必要とせず,効果的に機能する材料透過性編集手法を提案する。
  論文  参考訳（メタデータ） (2025-01-07T11:52:01Z)
• LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting [13.433775723052753]
  ソースイメージとターゲットのライティングイメージが与えられた後、LumiNetはターゲットのライティングをキャプチャするソースシーンの依存バージョンを合成する。 LumiNetは2つの異なる画像から遅延表現を処理します。
  論文  参考訳（メタデータ） (2024-11-29T18:59:11Z)
• CodeEnhance: A Codebook-Driven Approach for Low-Light Image Enhancement [97.95330185793358]
  低照度画像強調(LLIE)は、低照度画像を改善することを目的としている。 既存の手法では、様々な明るさ劣化からの回復の不確実性と、テクスチャと色情報の喪失という2つの課題に直面している。 我々は、量子化された先行値と画像の精細化を利用して、新しいエンハンスメント手法、CodeEnhanceを提案する。
  論文  参考訳（メタデータ） (2024-04-08T07:34:39Z)
• Revealing Shadows: Low-Light Image Enhancement Using Self-Calibrated Illumination [4.913568097686369]
  自己校正イルミネーション(Self-Calibrated Illumination, SCI)は、当初RGB画像向けに開発された戦略である。 我々はSCI法を用いて、低照度条件下で通常失われる詳細を強調・明らかにする。 この選択的照明強調方法は、色情報をそのまま残し、画像の色整合性を保つ。
  論文  参考訳（メタデータ） (2023-12-23T08:49:19Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
  本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。 さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。 実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-07-21T16:21:24Z)
• Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement [52.49231695707198]
  2段階の工程で細部と色を精錬しながら、内在的な劣化と低照度画像を照らし出す。 カラー画像の定式化に触発されて,まず低照度入力からの劣化を推定し,環境照明色の歪みをシミュレーションし,そのコンテンツを精錬して拡散照明色の損失を回復した。 LOL1000データセットではPSNRで0.95dB、ExDarkデータセットでは3.18%のmAPでSOTAを上回った。
  論文  参考訳（メタデータ） (2021-03-19T04:00:27Z)
• Shed Various Lights on a Low-Light Image: Multi-Level Enhancement Guided by Arbitrary References [17.59529931863947]
  本稿では,マルチレベル低光度画像強調のためのニューラルネットワークを提案する。 スタイル転送にインスパイアされたこの手法は,潜在空間内の2つの低結合機能コンポーネントにイメージを分解する。 このようにして、ネットワークは一連の画像対からシーン不変および明るさ固有情報を抽出することを学ぶ。
  論文  参考訳（メタデータ） (2021-01-04T07:38:51Z)
• Style Intervention: How to Achieve Spatial Disentanglement with Style-based Generators? [100.60938767993088]
  任意の入力画像に適応し、フレキシブルな目的の下で自然な翻訳効果をレンダリングできる軽量な最適化アルゴリズムを提案する。 フォトリアリズムと一貫性の両方を必要とする高解像度画像の顔属性編集において,提案するフレームワークの性能を検証する。
  論文  参考訳（メタデータ） (2020-11-19T07:37:31Z)
• Light Direction and Color Estimation from Single Image with Deep Regression [25.45529007045549]
  単一画像からシーン光源の方向と色を推定する手法を提案する。 a)SIDデータセットと同様の制約で強い影効果を持つ新しい合成データセットを使用し、(b)上記データセットに基づいてトレーニングされた深層アーキテクチャを定義し、シーン光源の方向と色を推定する。
  論文  参考訳（メタデータ） (2020-09-18T17:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。