論文の概要: SVBRDF Recovery From a Single Image With Highlights using a Pretrained
Generative Adversarial Network
- arxiv url: http://arxiv.org/abs/2111.00943v1
- Date: Fri, 29 Oct 2021 10:39:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 16:51:50.860114
- Title: SVBRDF Recovery From a Single Image With Highlights using a Pretrained
Generative Adversarial Network
- Title(参考訳): プレトラクティブ・ジェネレーション・ディバイサル・ネットワークを用いた高輝度単一画像からのSVBRDFの復元
- Authors: Tao Wen and Beibei Wang and Lei Zhang and Jie Guo and Nicolas
Holzschuch
- Abstract要約: 本稿では,教師なし生成逆向ニューラルネットワーク(GAN)を用いて,SVBRDFsマップを入力として復元する。
SVBRDFを初期化するために訓練されたモデルを再利用し、入力画像に基づいて微調整する。
提案手法は,1枚の入力画像から高品質なSVBRDFマップを生成し,従来よりも鮮明なレンダリング結果を提供する。
- 参考スコア(独自算出の注目度): 25.14140648820334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatially-varying bi-directional reflectance distribution functions (SVBRDFs)
are crucial for designers to incorporate new materials in virtual scenes,
making them look more realistic. Reconstruction of SVBRDFs is a long-standing
problem. Existing methods either rely on extensive acquisition system or
require huge datasets which are nontrivial to acquire. We aim to recover
SVBRDFs from a single image, without any datasets. A single image contains
incomplete information about the SVBRDF, making the reconstruction task highly
ill-posed. It is also difficult to separate between the changes in color that
are caused by the material and those caused by the illumination, without the
prior knowledge learned from the dataset. In this paper, we use an unsupervised
generative adversarial neural network (GAN) to recover SVBRDFs maps with a
single image as input. To better separate the effects due to illumination from
the effects due to the material, we add the hypothesis that the material is
stationary and introduce a new loss function based on Fourier coefficients to
enforce this stationarity. For efficiency, we train the network in two stages:
reusing a trained model to initialize the SVBRDFs and fine-tune it based on the
input image. Our method generates high-quality SVBRDFs maps from a single input
photograph, and provides more vivid rendering results compared to previous
work. The two-stage training boosts runtime performance, making it 8 times
faster than previous work.
- Abstract(参考訳): 空間的に異なる双方向反射率分布関数(SVBRDF)は、デザイナーが新しい素材を仮想シーンに組み込むことが重要であり、よりリアルに見えます。
SVBRDFの再構築は長年の課題である。
既存の手法は、広範な取得システムに依存するか、取得するのは簡単ではない巨大なデータセットを必要とする。
我々は、データセットなしで単一の画像からsvbrdfを復元することを目指している。
1枚の画像にはSVBRDFに関する不完全な情報が含まれており、復元作業は非常に不適切である。
また、データセットから事前の知識がなくても、材料によって引き起こされる色の変化と照明によって引き起こされる色の変化を区別することは困難である。
本稿では,教師なし生成型逆向ニューラルネットワーク(gan)を用いて,単一の画像を入力としてsvbrdfsマップを復元する。
物質による影響から照明による効果をより明確に分離するために,物質が定常であるという仮説を加え,フーリエ係数に基づく新たな損失関数を導入し,この定常性を強制する。
効率的にネットワークをトレーニングするには、トレーニングされたモデルを再利用してsvbrdfを初期化し、入力イメージに基づいて微調整する。
本手法は,単一の入力写真から高品質なsvbrdfsマップを生成し,より鮮明なレンダリング結果を提供する。
2段階のトレーニングによってランタイムのパフォーマンスが向上し、以前の作業の8倍高速になった。
関連論文リスト
- LIR: A Lightweight Baseline for Image Restoration [4.907416877454047]
画像復元のための軽量ベースラインであるLIRを提案し,画像の効率的な再構成と劣化の除去を行う。
LIRは、現代のネットワークで無視される局所的および大域的残差接続に存在する劣化に対処する。
我々のLIRは,特定のタスクにおけるパラメータや計算量が少なく,最先端モデルに匹敵する性能を実現している。
論文 参考訳(メタデータ) (2024-02-02T12:39:47Z) - DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [73.8274638090392]
本稿では,事前訓練したテキスト・画像拡散モデルを利用したブラインド画像復元問題に対するDiffBIRを提案する。
本稿では, インジェクティブ変調サブネットワーク -- LAControlNet を微調整用として導入し, 事前学習した安定拡散はその生成能力を維持することを目的としている。
実験では、ブラインド画像の超解像とブラインド顔復元の両タスクにおいて、最先端のアプローチよりも優れていることを示した。
論文 参考訳(メタデータ) (2023-08-29T07:11:52Z) - Invertible Network for Unpaired Low-light Image Enhancement [78.33382003460903]
本稿では,非可逆的ネットワークを活用して,前処理における低照度画像の強化と,非対向学習により逆向きに通常の照度画像の劣化を図ることを提案する。
対向的損失に加えて、トレーニングの安定性を確保し、より詳細な画像を保存するために、様々な損失関数を設計する。
低照度画像に対するプログレッシブ自己誘導強調処理を提案し,SOTAに対して良好な性能を示す。
論文 参考訳(メタデータ) (2021-12-24T17:00:54Z) - Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。
最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。
そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
論文 参考訳(メタデータ) (2021-11-24T18:58:21Z) - Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
画像再構成に有効な先行画像として, 奥行き画像が導入された。
その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。
計算課題に対処する2段階の学習パラダイムを開発する。
論文 参考訳(メタデータ) (2021-11-23T15:08:26Z) - Multi-Stage Progressive Image Restoration [167.6852235432918]
本稿では、これらの競合する目標を最適にバランスできる新しい相乗的設計を提案する。
本提案では, 劣化した入力の復元関数を段階的に学習する多段階アーキテクチャを提案する。
MPRNetという名前の密接な相互接続型マルチステージアーキテクチャは、10のデータセットに対して強力なパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2021-02-04T18:57:07Z) - Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。
ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。
合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
論文 参考訳(メタデータ) (2020-04-01T12:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。