論文の概要: Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder

• arxiv url: http://arxiv.org/abs/2012.06444v1
• Date: Fri, 11 Dec 2020 16:08:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 06:46:20.439412
• Title: Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder
• Title（参考訳）: 自己教師付きシャムオートエンコーダによる野生画像のリライト
• Authors: Yang Liu, Alexandros Neophytou, Sunando Sengupta, Eric Sommerlade
• Abstract要約: 本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。 この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。 Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
• 参考スコア（独自算出の注目度）: 62.580345486483886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a self-supervised method for image relighting of single view images in the wild. The method is based on an auto-encoder which deconstructs an image into two separate encodings, relating to the scene illumination and content, respectively. In order to disentangle this embedding information without supervision, we exploit the assumption that some augmentation operations do not affect the image content and only affect the direction of the light. A novel loss function, called spherical harmonic loss, is introduced that forces the illumination embedding to convert to a spherical harmonic vector. We train our model on large-scale datasets such as Youtube 8M and CelebA. Our experiments show that our method can correctly estimate scene illumination and realistically re-light input images, without any supervision or a prior shape model. Compared to supervised methods, our approach has similar performance and avoids common lighting artifacts.
• Abstract（参考訳）: 本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。 この方法は、シーン照明と内容に関する2つの別々のエンコーディングに画像を分解するオートエンコーダに基づいている。 この埋め込み情報を監視せずに切り離すために、いくつかの拡張操作は画像内容に影響を与えず、光方向のみに影響を及ぼすと仮定する。 球面調和損失(spherical harmonic loss)と呼ばれる新しい損失関数が導入され、照明を埋め込んで球面調和ベクトルに変換する。 youtube 8mやcelebaといった大規模データセットでモデルをトレーニングしています。 本実験は,シーン照明とリアルに再照らされた入力画像を,監督や事前形状モデルなしで正確に推定できることを示す。 監督手法と比較すると,我々のアプローチは同じような性能を持ち,一般的な照明アーチファクトを回避している。

関連論文リスト

• LightIt: Illumination Modeling and Control for Diffusion Models [61.80461416451116]
  我々は、画像生成のための明示的な照明制御方法であるLightItを紹介する。 最近の生成法では照明制御が欠如しており、画像生成の多くの芸術的側面に不可欠である。 本手法は、制御可能で一貫した照明による画像生成を可能にする最初の方法である。
  論文  参考訳（メタデータ） (2024-03-15T18:26:33Z)
• DiFaReli: Diffusion Face Relighting [13.000032155650835]
  野生でのワンビューリライティングに新しいアプローチを提案する。 グローバル照明やキャストシャドーなどの非拡散効果を扱うことは、長い間、顔のリライティングの課題だった。 標準ベンチマークであるMulti-PIE上での最先端性能を実現し,画像の写実的リライトを実現する。
  論文  参考訳（メタデータ） (2023-04-19T08:03:20Z)
• WildLight: In-the-wild Inverse Rendering with a Flashlight [77.31815397135381]
  本研究では、未知の環境光下での逆レンダリングのための実用的な測光ソリューションを提案する。 本システムは,スマートフォンで撮影した多視点画像のみを用いて,シーン形状と反射率を復元する。 提案手法は実装が容易で,セットアップも容易で,既存の逆レンダリング技術よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-24T17:59:56Z)
• Weakly-supervised Single-view Image Relighting [17.49214457620938]
  本稿では,ランベルトおよび低周波スペクトルの単一像をリライトする学習に基づくアプローチを提案する。 本手法では,写真からのオブジェクトを新しいシーンに挿入し,新しい環境照明下でリライトすることができる。
  論文  参考訳（メタデータ） (2023-03-24T08:20:16Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)
• Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences using Transformer Networks [23.6427456783115]
  本研究は,画像からのノイズ推定を集約した屋外照明推定に焦点をあてる。 ディープニューラルネットワークに基づく最近の研究は、単一画像の照明推定に有望な結果を示しているが、堅牢性に悩まされている。 画像シーケンスの角領域と時間領域でサンプリングされた複数の画像ビューからの照明推定値を組み合わせることで、この問題に対処する。
  論文  参考訳（メタデータ） (2022-02-18T14:11:16Z)
• Enhancing Low-Light Images in Real World via Cross-Image Disentanglement [58.754943762945864]
  そこで本研究では,現実の汚職とミスアライメントされたトレーニング画像からなる,新しい低照度画像強調データセットを提案する。 本モデルでは,新たに提案したデータセットと,他の一般的な低照度データセットの両方に対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-01-10T03:12:52Z)
• SILT: Self-supervised Lighting Transfer Using Implicit Image Decomposition [27.72518108918135]
  このソリューションは、まず任意の照明スタイルの入力画像を統一されたドメインにマッピングすることを目的として、2分岐ネットワークとして動作する。 次に、生成された出力とスタイル参照と共に提示される判別器を用いて、この統合入力ドメインを再マップする。 本手法は, 照明監督を必要とせず, 2つの異なるデータセットにおいて, 教師付きリライティングソリューションよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-25T12:52:53Z)
• Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
  我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。 提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
  論文  参考訳（メタデータ） (2020-05-06T13:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。