論文の概要: Diffuse Map Guiding Unsupervised Generative Adversarial Network for
SVBRDF Estimation
- arxiv url: http://arxiv.org/abs/2205.11951v2
- Date: Wed, 25 May 2022 11:58:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 12:34:47.493995
- Title: Diffuse Map Guiding Unsupervised Generative Adversarial Network for
SVBRDF Estimation
- Title（参考訳）: SVBRDF推定のための教師なし生成逆数ネットワークを導く拡散マップ
- Authors: Zhiyao Luo, Hongnan Chen
- Abstract要約: 本稿では,GAN(Generative Adversarial Network)に基づく拡散マップ誘導材料推定手法を提案する。
本手法では,携帯電話で撮影した少数の画像のみを用いて,グローバルな特徴を持つ可塑性SVBRDFマップを予測できる。
- 参考スコア（独自算出の注目度）: 0.21756081703276003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing materials in the real world has always been a difficult
problem in computer graphics. Accurately reconstructing the material in the
real world is critical in the field of realistic rendering. Traditionally,
materials in computer graphics are mapped by an artist, then mapped onto a
geometric model by coordinate transformation, and finally rendered with a
rendering engine to get realistic materials. For opaque objects, the industry
commonly uses physical-based bidirectional reflectance distribution function
(BRDF) rendering models for material modeling. The commonly used physical-based
rendering models are Cook-Torrance BRDF, Disney BRDF. In this paper, we use the
Cook-Torrance model to reconstruct the materials. The SVBRDF material
parameters include Normal, Diffuse, Specular and Roughness. This paper presents
a Diffuse map guiding material estimation method based on the Generative
Adversarial Network(GAN). This method can predict plausible SVBRDF maps with
global features using only a few pictures taken by the mobile phone. The main
contributions of this paper are: 1) We preprocess a small number of input
pictures to produce a large number of non-repeating pictures for training to
reduce over-fitting. 2) We use a novel method to directly obtain the guessed
diffuse map with global characteristics, which provides more prior information
for the training process. 3) We improve the network architecture of the
generator so that it can generate fine details of normal maps and reduce the
possibility to generate over-flat normal maps. The method used in this paper
can obtain prior knowledge without using dataset training, which greatly
reduces the difficulty of material reconstruction and saves a lot of time to
generate and calibrate datasets.
- Abstract（参考訳）: 現実の素材の再構築は、コンピュータグラフィックスにおいて常に難しい問題であった。
実世界の物質を正確に再構成することは、現実的なレンダリングの分野で重要である。
伝統的に、コンピュータグラフィックスの素材はアーティストによってマッピングされ、座標変換によって幾何学モデルにマッピングされ、最終的にレンダリングエンジンでレンダリングされ、リアルな素材が得られる。
不透明なオブジェクトに対して、業界は通常、物質モデリングに物理ベースの双方向反射率分布関数(BRDF)レンダリングモデルを使用する。
一般的な物理ベースのレンダリングモデルはCook-Torrance BRDF、Disney BRDFである。
本稿では,Cook-Torranceモデルを用いて材料を再構築する。
SVBRDFの材料パラメータは、正規、拡散、スペクトル、粗さである。
本稿では,GAN(Generative Adversarial Network)に基づく拡散マップ誘導材料推定手法を提案する。
この方法では、携帯電話で撮影した数枚の写真だけで、グローバル機能を備えたsvbrdfマップを予測できる。
本論文の主な貢献は次のとおりである。
1)少数の入力画像の事前処理を行い,多数の非繰り返し画像を生成してトレーニングを行い,過度な適合を減らす。
2)グローバルな特徴を持つ推定拡散マップを直接取得するために,新しい手法を用いて,トレーニングプロセスの事前情報を提供する。
3) ジェネレータのネットワーク構造を改良し, 通常の地図の細部を再現し, オーバーフラットな正規地図を生成する可能性を低減する。
本稿では,データセットのトレーニングを使わずに事前知識を得ることによって,材料復元の困難さを大幅に低減し,データセットの生成と校正に多くの時間を節約する手法を提案する。
関連論文リスト
- GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
マルチビュー画像から3次元メッシュを再構成する手法を提案する。
提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
論文 参考訳（メタデータ） (2024-06-09T05:19:24Z) - Data-Independent Operator: A Training-Free Artifact Representation
Extractor for Generalizable Deepfake Detection [105.9932053078449]
本研究では,より一般的な人工物表現を捉えるのに,小型かつトレーニング不要なフィルタが十分であることを示す。
トレーニングソースとテストソースの両方に不偏があるため、未確認ソースに対して魅力的な改善を実現するために、Data-Independent Operator (DIO)と定義する。
我々の検出器は13.3%の大幅な改善を実現し、新しい最先端の性能を確立した。
論文 参考訳（メタデータ） (2024-03-11T15:22:28Z) - Not All Image Regions Matter: Masked Vector Quantization for
Autoregressive Image Generation [78.13793505707952]
既存の自己回帰モデルは、まず画像再構成のための潜伏空間のコードブックを学習し、学習したコードブックに基づいて自己回帰的に画像生成を完了する2段階生成パラダイムに従っている。
そこで本研究では,Masked Quantization VAE (MQ-VAE) Stackモデルを用いた2段階フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-23T02:15:53Z) - TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using
Differentiable Rendering [54.35405028643051]
スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。
提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。
我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
論文 参考訳（メタデータ） (2023-03-27T10:07:52Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳（メタデータ） (2022-11-21T17:42:42Z) - Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。
本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。
我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
論文 参考訳（メタデータ） (2022-08-04T14:13:35Z) - PS-NeRF: Neural Inverse Rendering for Multi-view Photometric Stereo [22.42916940712357]
本稿では,暗黙表現に基づくMVPSのニューラルネットワーク逆レンダリング手法を提案する。
本手法は既存のMVPSやニューラルレンダリング法よりもはるかに正確な形状再構成を実現する。
論文 参考訳（メタデータ） (2022-07-23T03:55:18Z) - SVBRDF Recovery From a Single Image With Highlights using a Pretrained
Generative Adversarial Network [25.14140648820334]
本稿では,教師なし生成逆向ニューラルネットワーク(GAN)を用いて,SVBRDFsマップを入力として復元する。
SVBRDFを初期化するために訓練されたモデルを再利用し、入力画像に基づいて微調整する。
提案手法は,1枚の入力画像から高品質なSVBRDFマップを生成し,従来よりも鮮明なレンダリング結果を提供する。
論文 参考訳（メタデータ） (2021-10-29T10:39:06Z) - Ground material classification and for UAV-based photogrammetric 3D data
A 2D-3D Hybrid Approach [1.3359609092684614]
近年,物理環境を表す3次元仮想データを作成するために,多くの領域でフォトグラム法が広く用いられている。
これらの最先端技術は、迅速な3D戦場再建、仮想訓練、シミュレーションを目的として、アメリカ陸軍と海軍の注意を引き付けている。
論文 参考訳（メタデータ） (2021-09-24T22:29:26Z) - Shape From Tracing: Towards Reconstructing 3D Object Geometry and SVBRDF
Material from Images via Differentiable Path Tracing [16.975014467319443]
識別可能なパストレースは、複雑な外観効果を再現できるため、魅力的なフレームワークである。
本稿では,初期粗いメッシュとメッシュファセット単位の材料表現を改良するために,微分可能なレイトレーシングを利用する方法を示す。
また、制約のない環境下での現実世界の物体の初期再構成を洗練させる方法についても示す。
論文 参考訳（メタデータ） (2020-12-06T18:55:35Z) - MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。
逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。
携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
論文 参考訳（メタデータ） (2020-09-30T21:33:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。