論文の概要: Local Relighting of Real Scenes

• arxiv url: http://arxiv.org/abs/2207.02774v1
• Date: Wed, 6 Jul 2022 16:08:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 14:18:21.223124
• Title: Local Relighting of Real Scenes
• Title（参考訳）: リアルシーンのローカルなリライト
• Authors: Audrey Cui, Ali Jahanian, Agata Lapedriza, Antonio Torralba, Shahin Mahdizadehaghdam, Rohit Kumar, David Bau
• Abstract要約: 本稿では,画像内から見える光源をオン/オフすることでシーンの撮影を切り替えるローカルリライティングの課題を紹介する。 この新しい課題は、光源を検知し、それらから発する光のパターンを推測するという課題を導入するため、従来の画像リライト問題とは異なる。 本稿では,他のモデルから生成した画像対を用いて,新しい画像データセットを監督せずにモデルを訓練する局所リライト手法を提案する。
• 参考スコア（独自算出の注目度）: 31.305393724281604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce the task of local relighting, which changes a photograph of a scene by switching on and off the light sources that are visible within the image. This new task differs from the traditional image relighting problem, as it introduces the challenge of detecting light sources and inferring the pattern of light that emanates from them. We propose an approach for local relighting that trains a model without supervision of any novel image dataset by using synthetically generated image pairs from another model. Concretely, we collect paired training images from a stylespace-manipulated GAN; then we use these images to train a conditional image-to-image model. To benchmark local relighting, we introduce Lonoff, a collection of 306 precisely aligned images taken in indoor spaces with different combinations of lights switched on. We show that our method significantly outperforms baseline methods based on GAN inversion. Finally, we demonstrate extensions of our method that control different light sources separately. We invite the community to tackle this new task of local relighting.
• Abstract（参考訳）: 本稿では,画像内で見える光源をオン/オフすることでシーンの撮影を切り替えるローカルリライティングの課題を紹介する。 この新しい課題は、光源を検知し、それらから発する光のパターンを推測するという課題を導入するため、従来の画像リライト問題とは異なる。 本稿では,新しい画像データセットを管理せずに,別のモデルから合成生成した画像ペアを用いてモデルを訓練する手法を提案する。 具体的には、スタイルスペース管理ganからペアトレーニング画像を収集し、これらの画像を用いて条件付き画像対画像モデルをトレーニングする。 これは屋内空間で撮影された306枚のアライメント画像のコレクションで、異なる組み合わせのライトがオンになっている。 提案手法は,GANインバージョンに基づくベースライン手法よりも優れていることを示す。 最後に、異なる光源を別々に制御する手法の拡張を実証する。 私たちはコミュニティに、この新しいローカルリライトの課題に取り組むよう呼びかけます。

関連論文リスト

• Relightful Harmonization: Lighting-aware Portrait Background Replacement [23.19641174787912]
  背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。 まず、拡散モデルを用いて、対象画像の背景から照明情報をエンコードする照明表現モジュールを導入する。 第2に、画像背景から学習した照明特徴と、パノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
  論文  参考訳（メタデータ） (2023-12-11T23:20:31Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Enhancing Low-Light Images in Real World via Cross-Image Disentanglement [58.754943762945864]
  そこで本研究では,現実の汚職とミスアライメントされたトレーニング画像からなる,新しい低照度画像強調データセットを提案する。 本モデルでは,新たに提案したデータセットと,他の一般的な低照度データセットの両方に対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-01-10T03:12:52Z)
• SILT: Self-supervised Lighting Transfer Using Implicit Image Decomposition [27.72518108918135]
  このソリューションは、まず任意の照明スタイルの入力画像を統一されたドメインにマッピングすることを目的として、2分岐ネットワークとして動作する。 次に、生成された出力とスタイル参照と共に提示される判別器を用いて、この統合入力ドメインを再マップする。 本手法は, 照明監督を必要とせず, 2つの異なるデータセットにおいて, 教師付きリライティングソリューションよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-25T12:52:53Z)
• Enhance Images as You Like with Unpaired Learning [8.104571453311442]
  本稿では,低照度から高照度の画像空間における一対多の関係を学習するために,軽量な一経路条件生成対向ネットワーク(cGAN)を提案する。 我々のネットワークは、様々な参照画像上に設定された所定の入力条件から、拡張された画像の集合を生成することを学習する。 我々のモデルは、ノイズとクリーンなデータセットの完全な教師付き手法と同等に競合する視覚的および定量的な結果を得る。
  論文  参考訳（メタデータ） (2021-10-04T03:00:44Z)
• Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder [62.580345486483886]
  本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。 この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。 Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-12-11T16:08:50Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)
• Crowdsampling the Plenoptic Function [56.10020793913216]
  このようなデータから時間変動照明下での新しいビュー合成手法を提案する。 本稿では,新しいDeepMPI表現について紹介する。 本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
  論文  参考訳（メタデータ） (2020-07-30T02:52:10Z)
• Scene relighting with illumination estimation in the latent space on an encoder-decoder scheme [68.8204255655161]
  本報告では,その目的を達成するための手法について述べる。 我々のモデルは、シーン内容、光源位置、色温度の異なる、人工的な場所のレンダリングデータセットに基づいて訓練されている。 本データセットでは,被写体の潜在空間表現における光条件の推測と置き換えを目的とした照明推定成分を用いたネットワークを用いた。
  論文  参考訳（メタデータ） (2020-06-03T15:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。