論文の概要: SVBRDF Recovery From a Single Image With Highlights using a Pretrained Generative Adversarial Network

• arxiv url: http://arxiv.org/abs/2111.00943v1
• Date: Fri, 29 Oct 2021 10:39:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 16:51:50.860114
• Title: SVBRDF Recovery From a Single Image With Highlights using a Pretrained Generative Adversarial Network
• Title（参考訳）: プレトラクティブ・ジェネレーション・ディバイサル・ネットワークを用いた高輝度単一画像からのSVBRDFの復元
• Authors: Tao Wen and Beibei Wang and Lei Zhang and Jie Guo and Nicolas Holzschuch
• Abstract要約: 本稿では,教師なし生成逆向ニューラルネットワーク(GAN)を用いて,SVBRDFsマップを入力として復元する。 SVBRDFを初期化するために訓練されたモデルを再利用し、入力画像に基づいて微調整する。 提案手法は,1枚の入力画像から高品質なSVBRDFマップを生成し,従来よりも鮮明なレンダリング結果を提供する。
• 参考スコア（独自算出の注目度）: 25.14140648820334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatially-varying bi-directional reflectance distribution functions (SVBRDFs) are crucial for designers to incorporate new materials in virtual scenes, making them look more realistic. Reconstruction of SVBRDFs is a long-standing problem. Existing methods either rely on extensive acquisition system or require huge datasets which are nontrivial to acquire. We aim to recover SVBRDFs from a single image, without any datasets. A single image contains incomplete information about the SVBRDF, making the reconstruction task highly ill-posed. It is also difficult to separate between the changes in color that are caused by the material and those caused by the illumination, without the prior knowledge learned from the dataset. In this paper, we use an unsupervised generative adversarial neural network (GAN) to recover SVBRDFs maps with a single image as input. To better separate the effects due to illumination from the effects due to the material, we add the hypothesis that the material is stationary and introduce a new loss function based on Fourier coefficients to enforce this stationarity. For efficiency, we train the network in two stages: reusing a trained model to initialize the SVBRDFs and fine-tune it based on the input image. Our method generates high-quality SVBRDFs maps from a single input photograph, and provides more vivid rendering results compared to previous work. The two-stage training boosts runtime performance, making it 8 times faster than previous work.
• Abstract（参考訳）: 空間的に異なる双方向反射率分布関数(SVBRDF)は、デザイナーが新しい素材を仮想シーンに組み込むことが重要であり、よりリアルに見えます。 SVBRDFの再構築は長年の課題である。 既存の手法は、広範な取得システムに依存するか、取得するのは簡単ではない巨大なデータセットを必要とする。 我々は、データセットなしで単一の画像からsvbrdfを復元することを目指している。 1枚の画像にはSVBRDFに関する不完全な情報が含まれており、復元作業は非常に不適切である。 また、データセットから事前の知識がなくても、材料によって引き起こされる色の変化と照明によって引き起こされる色の変化を区別することは困難である。 本稿では,教師なし生成型逆向ニューラルネットワーク(gan)を用いて,単一の画像を入力としてsvbrdfsマップを復元する。 物質による影響から照明による効果をより明確に分離するために,物質が定常であるという仮説を加え,フーリエ係数に基づく新たな損失関数を導入し,この定常性を強制する。 効率的にネットワークをトレーニングするには、トレーニングされたモデルを再利用してsvbrdfを初期化し、入力イメージに基づいて微調整する。 本手法は,単一の入力写真から高品質なsvbrdfsマップを生成し,より鮮明なレンダリング結果を提供する。 2段階のトレーニングによってランタイムのパフォーマンスが向上し、以前の作業の8倍高速になった。

関連論文リスト

• Rethinking Image Super-Resolution from Training Data Perspectives [54.28824316574355]
  画像超解像(SR)におけるトレーニングデータの効果について検討する。 そこで我々は,自動画像評価パイプラインを提案する。 その結果, (i) 圧縮アーチファクトの少ないデータセット, (ii) 被写体数によって判断される画像内多様性の高いデータセット, (iii) ImageNet や PASS からの大量の画像がSR性能に肯定的な影響を与えることがわかった。
  論文  参考訳（メタデータ） (2024-09-01T16:25:04Z)
• RSEND: Retinex-based Squeeze and Excitation Network with Dark Region Detection for Efficient Low Light Image Enhancement [1.7356500114422735]
  より正確で簡潔で一段階のRetinex理論に基づくフレームワークRSENDを提案する。 RSENDはまず、低照度画像を照明マップと反射マップに分割し、照明マップの重要な詳細をキャプチャして光強調を行う。 我々の効率の良いRetinexモデルは、他のCNNベースモデルよりも大幅に優れており、異なるデータセットで0.44dBから4.2dBまでのPSNRの改善を実現している。
  論文  参考訳（メタデータ） (2024-06-14T01:36:52Z)
• Blind Image Restoration via Fast Diffusion Inversion [17.139433082780037]
  Blind Image Restoration via fast Diffusion (BIRD) は、劣化モデルパラメータと復元画像の協調最適化を行うブラインド赤外線法である。 提案手法の鍵となる考え方は、初期ノイズがサンプリングされると、逆サンプリングを変更すること、すなわち、中間潜水剤を全て変更しないことである。 画像復元作業におけるBIRDの有効性を実験的に検証し,それらすべてに対して,その成果が得られたことを示す。
  論文  参考訳（メタデータ） (2024-05-29T23:38:12Z)
• Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
  本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。 具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。 さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
  論文  参考訳（メタデータ） (2024-03-30T08:05:00Z)
• DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [70.46245698746874]
  DiffBIRは、視覚の異なる画像復元タスクを処理できる一般的な修復パイプラインである。 DiffBIRは, ブラインド画像復元問題を, 1) 劣化除去: 画像に依存しない内容の除去; 2) 情報再生: 失われた画像内容の生成の2段階に分離する。 第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。 第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:11:52Z)
• Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
  実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。 最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。 そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:58:21Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Multi-Stage Progressive Image Restoration [167.6852235432918]
  本稿では、これらの競合する目標を最適にバランスできる新しい相乗的設計を提案する。 本提案では, 劣化した入力の復元関数を段階的に学習する多段階アーキテクチャを提案する。 MPRNetという名前の密接な相互接続型マルチステージアーキテクチャは、10のデータセットに対して強力なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2021-02-04T18:57:07Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。