論文の概要: Neural Appearance Modeling From Single Images
- arxiv url: http://arxiv.org/abs/2406.18593v1
- Date: Sat, 8 Jun 2024 18:56:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 05:40:31.436359
- Title: Neural Appearance Modeling From Single Images
- Title（参考訳）: 単一画像からのニューラルな外観モデリング
- Authors: Jay Idema, Pieter Peers,
- Abstract要約: 多様な視界と照明条件下で可視で空間的に変化する物質を可視化するための物質外見モデリングニューラルネットワークを提案する。
我々のネットワークは,1枚の入力写真から1ピクセルあたりのニューラルネットワークパラメータを推定するネットワークと,その素材を描画するネットワークという2つのネットワークステージで構成されている。
- 参考スコア（独自算出の注目度）: 3.3090362820994526
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a material appearance modeling neural network for visualizing plausible, spatially-varying materials under diverse view and lighting conditions, utilizing only a single photograph of a material under co-located light and view as input for appearance estimation. Our neural architecture is composed of two network stages: a network that infers learned per-pixel neural parameters of a material from a single input photograph, and a network that renders the material utilizing these neural parameters, similar to a BRDF. We train our model on a set of 312,165 synthetic spatially-varying exemplars. Since our method infers learned neural parameters rather than analytical BRDF parameters, our method is capable of encoding anisotropic and global illumination (inter-pixel interaction) information into individual pixel parameters. We demonstrate our model's performance compared to prior work and demonstrate the feasibility of the render network as a BRDF by implementing it into the Mitsuba3 rendering engine. Finally, we briefly discuss the capability of neural parameters to encode global illumination information.
- Abstract（参考訳）: そこで本稿では,光と光の多様な条件下で,可視で空間的に変化する物質を視覚的に可視化するための材料外見モデリングニューラルネットワークを提案する。
我々のニューラルアーキテクチャは、2つのネットワークステージで構成されている: 単一の入力写真から材料の1ピクセルあたりのニューラルパラメータを推論するネットワークと、BRDFに似たこれらのニューラルパラメータを利用して物質をレンダリングするネットワークである。
我々は312,165個の合成空間変化例でモデルを訓練する。
本手法は,解析的BRDFパラメータよりも学習されたニューラルネットワークパラメータを推定するため,異方性および大域照明情報(画素間相互作用)を個々の画素パラメータに符号化することができる。
我々は,従来の作業と比較して,モデルの性能を実証し,それを三葉3レンダリングエンジンに実装することで,BRDFとしてのレンダリングネットワークの実現可能性を示す。
最後に,グローバル照明情報を符号化するニューラルパラメータの能力について概説する。
関連論文リスト
- Neural Textured Deformable Meshes for Robust Analysis-by-Synthesis [17.920305227880245]
本稿では, 近似解析を用いた三重視覚タスクを一貫した方法で定式化する。
実世界の画像で評価すると、従来のニューラルネットワークよりも、我々の分析バイシンセシスの方がはるかに堅牢であることが示される。
論文 参考訳（メタデータ） (2023-05-31T18:45:02Z) - Attention Mechanism for Contrastive Learning in GAN-based Image-to-Image
Translation [3.90801108629495]
本稿では,異なる領域にまたがって高品質な画像を生成可能なGANモデルを提案する。
実世界から取得した画像データと3Dゲームからのシミュレーション画像を用いて、Contrastive Learningを利用してモデルを自己指導的に訓練する。
論文 参考訳（メタデータ） (2023-02-23T14:23:23Z) - Multi-View Photometric Stereo Revisited [100.97116470055273]
多視点測光ステレオ(MVPS)は、画像から被写体を詳細に正確に3D取得する方法として好まれる。
MVPSは異方性や光沢などの他の対象物質と同様に,等方性に対しても有効である。
提案手法は、複数のベンチマークデータセットで広範囲にテストした場合に、最先端の結果を示す。
論文 参考訳（メタデータ） (2022-10-14T09:46:15Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳（メタデータ） (2022-07-12T17:52:04Z) - Neural Implicit Representations for Physical Parameter Inference from a Single Video [49.766574469284485]
本稿では,外見モデルのためのニューラル暗黙表現と,物理現象をモデル化するためのニューラル常微分方程式(ODE)を組み合わせることを提案する。
提案モデルでは,大規模なトレーニングデータセットを必要とする既存のアプローチとは対照的に,単一のビデオから物理的パラメータを識別することが可能になる。
ニューラル暗示表現を使用することで、高解像度ビデオの処理とフォトリアリスティック画像の合成が可能になる。
論文 参考訳（メタデータ） (2022-04-29T11:55:35Z) - Light Field Networks: Neural Scene Representations with
Single-Evaluation Rendering [60.02806355570514]
2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。
そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。
LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
論文 参考訳（メタデータ） (2021-06-04T17:54:49Z) - Generative Modelling of BRDF Textures from Flash Images [50.660026124025265]
我々は、容易にキャプチャ、セマンティックな編集、一貫した、視覚素材の外観の効率よく再現できる潜在空間を学習する。
2番目のステップでは、材料コードに基づいて、私たちの方法は、BRDFモデルパラメータの無限で多様な空間フィールドを生成します。
論文 参考訳（メタデータ） (2021-02-23T18:45:18Z) - Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。
ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。
合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
論文 参考訳（メタデータ） (2020-04-01T12:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。