論文の概要: Outdoor inverse rendering from a single image using multiview self-supervision

• arxiv url: http://arxiv.org/abs/2102.06591v1
• Date: Fri, 12 Feb 2021 16:01:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 13:08:56.553672
• Title: Outdoor inverse rendering from a single image using multiview self-supervision
• Title（参考訳）: マルチビュー・セルフスーパービジョンを用いた単一画像からの屋外逆レンダリング
• Authors: Ye Yu and William A. P. Smith
• Abstract要約: 一つの無制御画像から形状,反射率,照明を復元するために,シーンレベルの逆レンダリングを行う方法を示す。 ネットワークは、rgb画像を入力として、アルベド、シャドー、正規マップをレグレッシブし、最小2乗の最適球面調和照明を推定する。 これはmvs監督を逆レンダリングの学習に利用する最初の試みであると考えています。
• 参考スコア（独自算出の注目度）: 36.065349509851245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we show how to perform scene-level inverse rendering to recover shape, reflectance and lighting from a single, uncontrolled image using a fully convolutional neural network. The network takes an RGB image as input, regresses albedo, shadow and normal maps from which we infer least squares optimal spherical harmonic lighting coefficients. Our network is trained using large uncontrolled multiview and timelapse image collections without ground truth. By incorporating a differentiable renderer, our network can learn from self-supervision. Since the problem is ill-posed we introduce additional supervision. Our key insight is to perform offline multiview stereo (MVS) on images containing rich illumination variation. From the MVS pose and depth maps, we can cross project between overlapping views such that Siamese training can be used to ensure consistent estimation of photometric invariants. MVS depth also provides direct coarse supervision for normal map estimation. We believe this is the first attempt to use MVS supervision for learning inverse rendering. In addition, we learn a statistical natural illumination prior. We evaluate performance on inverse rendering, normal map estimation and intrinsic image decomposition benchmarks.
• Abstract（参考訳）: 本論文では, 完全畳み込みニューラルネットワークを用いて, 単一非制御画像から形状, 反射率, 照明を回復するシーンレベルの逆レンダリングを行う方法を示す。 このネットワークは、RGB画像を入力として、アルベド、シャドウ、ノーマルマップを回帰し、最小二乗の球面調和照明係数を推定する。 ネットワークは、地上真理のない大規模なマルチビューおよびタイムラプス画像収集を用いて訓練されている。 微分可能なレンダラーを組み込むことで、ネットワークは自己スーパービジョンから学習できる。 問題は不適切であるため、追加の監督を導入する。 私たちの重要な洞察力は、豊富な照明変動を含む画像にオフラインマルチビューステレオ(MVS)を実行することです。 MVS のポーズと深度マップから、Samese のトレーニングで測光不変量の一貫した推定ができるように、重なり合うビュー間でプロジェクトを横断することができる。 MVS depthはまた、通常の地図推定のための直接粗い監督を提供する。 これはmvs監督を逆レンダリングの学習に利用する最初の試みであると考えています。 さらに,統計的自然照明を事前に学習する。 本研究では,逆レンダリング,正規地図推定,内在的画像分解ベンチマークの性能評価を行う。

関連論文リスト

• PS-NeRF: Neural Inverse Rendering for Multi-view Photometric Stereo [22.42916940712357]
  本稿では,暗黙表現に基づくMVPSのニューラルネットワーク逆レンダリング手法を提案する。 本手法は既存のMVPSやニューラルレンダリング法よりもはるかに正確な形状再構成を実現する。
  論文  参考訳（メタデータ） (2022-07-23T03:55:18Z)
• RIAV-MVS: Recurrent-Indexing an Asymmetric Volume for Multi-View Stereo [20.470182157606818]
  「学習から最適化」パラダイムは、平面スウィーピングコストボリュームを反復的にインデックス化し、畳み込みGated Recurrent Unit(GRU)を介して深度マップを回帰する。 実世界のMVSデータセットについて広範な実験を行い、本手法が内部データセット評価とクロスデータセット一般化の両方の観点から最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-05-28T03:32:56Z)
• Free-viewpoint Indoor Neural Relighting from Multi-view Stereo [5.306819482496464]
  本稿では,対話型自由視点ナビゲーションが可能な屋内シーンを撮影するためのニューラルリライティングアルゴリズムを提案する。 本手法では, 鋳造影や複雑な光沢物質を連続的にレンダリングしながら, 照明を合成的に変化させることができる。
  論文  参考訳（メタデータ） (2021-06-24T20:09:40Z)
• Stereo Matching by Self-supervision of Multiscopic Vision [65.38359887232025]
  カメラ位置の整列で撮影した複数の画像を利用したステレオマッチングのための新しい自己監視フレームワークを提案する。 ネットワークを最適化するために、クロスフォトメトリックロス、不確実性を認識した相互監督損失、および新しい平滑性損失が導入されます。 我々のモデルは、KITTIデータセット上の以前の教師なし手法よりも、より良い不均一性マップを得る。
  論文  参考訳（メタデータ） (2021-04-09T02:58:59Z)
• Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder [62.580345486483886]
  本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。 この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。 Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-12-11T16:08:50Z)
• Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance [78.34235841168031]
  シングルイメージリフレクション除去(SIRR)のためのリフレクション・アウェア・ガイダンス(RAGNet)を用いた新しい2段階ネットワークを提案する。 RAGは、(i)観測からの反射の効果を緩和するために、(ii)線形結合仮説から逸脱する効果を緩和するための部分畳み込みにおいてマスクを生成するために用いられる。 5つの一般的なデータセットの実験は、最先端のSIRR法と比較して、RAGNetの量的および質的な優位性を実証している。
  論文  参考訳（メタデータ） (2020-12-02T03:14:57Z)
• A Lightweight Neural Network for Monocular View Generation with Occlusion Handling [46.74874316127603]
  1枚の画像からビュー合成を行うステレオデータペアに基づいて訓練された,非常に軽量なニューラルネットワークアーキテクチャを提案する。 この作業は、挑戦的なKITTIデータセットにおいて、視覚的および計量的に最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2020-07-24T15:29:01Z)
• Single-View View Synthesis with Multiplane Images [64.46556656209769]
  深層学習を応用して、既知の視点で2つ以上の入力画像が与えられた多面体画像を生成する。 本手法は,単一画像入力から直接多面体画像を予測することを学習する。 さらに、適切な深度マップを生成し、背景層の前景オブジェクトのエッジの背後にあるコンテンツを埋める。
  論文  参考訳（メタデータ） (2020-04-23T17:59:19Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。