論文の概要: Learning Implicit Surface Light Fields
- arxiv url: http://arxiv.org/abs/2003.12406v1
- Date: Fri, 27 Mar 2020 13:17:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 05:11:15.565508
- Title: Learning Implicit Surface Light Fields
- Title（参考訳）: 表面光場を学習する
- Authors: Michael Oechsle, Michael Niemeyer, Lars Mescheder, Thilo Strauss,
Andreas Geiger
- Abstract要約: 近年,3次元オブジェクトの暗示表現は,学習に基づく3次元再構成作業において顕著な成果を上げている。
本研究では,物体の視覚的外観を表面光界で捉えるための新しい暗黙表現を提案する。
我々のモデルは、影や鏡面反射を含むリッチな視覚的外観を推測することができる。
- 参考スコア（独自算出の注目度）: 34.89812112073539
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Implicit representations of 3D objects have recently achieved impressive
results on learning-based 3D reconstruction tasks. While existing works use
simple texture models to represent object appearance, photo-realistic image
synthesis requires reasoning about the complex interplay of light, geometry and
surface properties. In this work, we propose a novel implicit representation
for capturing the visual appearance of an object in terms of its surface light
field. In contrast to existing representations, our implicit model represents
surface light fields in a continuous fashion and independent of the geometry.
Moreover, we condition the surface light field with respect to the location and
color of a small light source. Compared to traditional surface light field
models, this allows us to manipulate the light source and relight the object
using environment maps. We further demonstrate the capabilities of our model to
predict the visual appearance of an unseen object from a single real RGB image
and corresponding 3D shape information. As evidenced by our experiments, our
model is able to infer rich visual appearance including shadows and specular
reflections. Finally, we show that the proposed representation can be embedded
into a variational auto-encoder for generating novel appearances that conform
to the specified illumination conditions.
- Abstract（参考訳）: 近年,3次元オブジェクトの暗示表現は,学習に基づく3次元再構成作業において顕著な成果を上げている。
既存の研究では、単純なテクスチャモデルを用いてオブジェクトの外観を表現しているが、フォトリアリスティックな画像合成には光の複雑な相互作用、幾何学、表面特性の推論が必要である。
本研究では,物体表面の光界から物体の視覚的な外観を捉えるための新しい暗黙表現を提案する。
既存の表現とは対照的に、我々の暗黙のモデルは連続的な方法で表面光場を表し、幾何学とは独立である。
また、小さな光源の位置と色に関して、表面光場を条件付けする。
従来の表面光場モデルと比較して、光源を操作し、環境マップを用いて物体をリライトすることができる。
さらに,1つの実RGB画像とそれに対応する3次元形状情報から,見えない物体の視覚的外観を予測するモデルの有効性を示す。
我々の実験で証明されたように、我々のモデルは影や反射を含む豊かな視覚的外観を推測することができる。
最後に,提案した表現を可変オートエンコーダに埋め込むことで,特定の照明条件に適合する新しい外観を生成できることを示す。
関連論文リスト
- BiGS: Bidirectional Gaussian Primitives for Relightable 3D Gaussian Splatting [10.918133974256913]
本稿では、画像に基づく新規ビュー合成技術である双方向ガウスプリミティブについて述べる。
提案手法はガウススプラッティングフレームワークに光の内在分解を取り入れ,3次元物体のリアルタイムリライティングを可能にする。
論文 参考訳（メタデータ） (2024-08-23T21:04:40Z) - Ghost on the Shell: An Expressive Representation of General 3D Shapes [97.76840585617907]
リアルな素材と照明で高速な物理ベースのレンダリングを可能にするので、メッシュは魅力的だ。
近年の3次元形状の再構成と統計的モデリングの研究は、メッシュをトポロジカルに非フレキシブルであると批判している。
我々は水密面上の多様体符号距離場を定義することにより開曲面をパラメータ化する。
G-Shellは、非水密メッシュ再構築および生成タスクにおける最先端の性能を達成する。
論文 参考訳（メタデータ） (2023-10-23T17:59:52Z) - NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects [28.62468618676557]
我々は3次元透明物体をモデル化する最初のエンドツーエンドニューラルネットワークパイプラインであるNEMTOを提案する。
透明物体の2次元像を入力として, 高品質な新規ビューと光合成が可能となる。
論文 参考訳（メタデータ） (2023-03-21T15:50:08Z) - Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。
副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
論文 参考訳（メタデータ） (2022-12-09T07:33:49Z) - Generative Deformable Radiance Fields for Disentangled Image Synthesis
of Topology-Varying Objects [52.46838926521572]
3D認識生成モデルは、モノクロ2D画像の集合から3Dニューラル放射場(NeRF)を生成するスーパーブパフォーマンスを実証した。
本研究では, トポロジー変化物体の放射場を非交絡形状と外観変化で合成する生成モデルを提案する。
論文 参考訳（メタデータ） (2022-09-09T08:44:06Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-13T15:29:03Z) - Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。
ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。
提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文 参考訳（メタデータ） (2020-08-18T06:33:40Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z) - IllumiNet: Transferring Illumination from Planar Surfaces to Virtual
Objects in Augmented Reality [38.83696624634213]
本稿では,学習による実環境における仮想物体の照明推定手法を提案する。
一つのRGB画像が与えられた場合、シーンの平面面から抽出した照明特徴を所望のジオメトリに転送することで、信頼度の高い仮想オブジェクトを直接推測する。
論文 参考訳（メタデータ） (2020-07-12T13:11:14Z) - Multiview Neural Surface Reconstruction by Disentangling Geometry and
Appearance [46.488713939892136]
我々は、未知の幾何学、カメラパラメータ、および表面からカメラに向かって反射された光を近似するニューラルネットワークを同時に学習するニューラルネットワークを導入する。
我々は、DTU MVSデータセットから、異なる素材特性、照明条件、ノイズの多いカメラ素材を実世界の2D画像でトレーニングした。
論文 参考訳（メタデータ） (2020-03-22T10:20:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。