論文の概要: Towards Learning Neural Representations from Shadows

• arxiv url: http://arxiv.org/abs/2203.15946v1
• Date: Tue, 29 Mar 2022 23:13:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 13:53:30.162426
• Title: Towards Learning Neural Representations from Shadows
• Title（参考訳）: 影からのニューラル表現の学習に向けて
• Authors: Kushagra Tiwary, Tzofi Klinghoffer and Ramesh Raskar
• Abstract要約: 本稿では,シーンに存在する影のみから,ニューラルシーンの表現を学習する手法を提案する。 我々のフレームワークは高度に一般化可能であり、既存の3D再構成技術と協調して動作する。
• 参考スコア（独自算出の注目度）: 11.60149896896201
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a method that learns neural scene representations from only shadows present in the scene. While traditional shape-from-shadow (SfS) algorithms reconstruct geometry from shadows, they assume a fixed scanning setup and fail to generalize to complex scenes. Neural rendering algorithms, on the other hand, rely on photometric consistency between RGB images but largely ignore physical cues such as shadows, which have been shown to provide valuable information about the scene. We observe that shadows are a powerful cue that can constrain neural scene representations to learn SfS, and even outperform NeRF to reconstruct otherwise hidden geometry. We propose a graphics-inspired differentiable approach to render accurate shadows with volumetric rendering, predicting a shadow map that can be compared to the ground truth shadow. Even with just binary shadow maps, we show that neural rendering can localize the object and estimate coarse geometry. Our approach reveals that sparse cues in images can be used to estimate geometry using differentiable volumetric rendering. Moreover, our framework is highly generalizable and can work alongside existing 3D reconstruction techniques that otherwise only use photometric consistency. Our code is made available in our supplementary materials.
• Abstract（参考訳）: 本稿では,シーンに存在する影のみからニューラルシーン表現を学習する手法を提案する。 従来のシェードウ形状(SfS)アルゴリズムは影から幾何を再構成するが、固定された走査装置を仮定して複雑なシーンに一般化することができない。 一方、ニューラルレンダリングアルゴリズムはRGB画像間の光度整合性に依存しているが、シーンに関する貴重な情報を提供するために示される影のような物理的な手がかりをほとんど無視している。 影は、SfSを学習するために神経シーン表現を制約する強力なキューであり、他の隠れた幾何学を再構築するためにNeRFよりも優れています。 そこで本研究では,画像にインスパイアされた微分可能手法を用いて,正確な影をボリュームレンダリングでレンダリングし,地上の真実の影と比較可能な影マップを予測する。 二値影マップだけでも、ニューラルネットワークはオブジェクトをローカライズし、粗い幾何学を推定できることを示している。 提案手法は,画像中のスパースキューを用いて,可変ボリュームレンダリングを用いて幾何を推定できることを示す。 さらに,本フレームワークは高度に一般化可能であり,光度整合性のみを使用する既存の3次元再構成技術と併用することができる。 私たちのコードは補充資料で利用可能です。

関連論文リスト

• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• ShadowNeuS: Neural SDF Reconstruction by Shadow Ray Supervision [19.441669467054158]
  そこで我々は,光線に沿った試料と光線位置の両方を最適化する新しいシャドウ線監視手法を提案する。 複数の照明条件下で単視点画像からシーンのニューラルSDFを再構成することに成功した。 さらに画像色と影線の相関関係をモデル化することにより,RGB入力に効果的に拡張することができる。
  論文  参考訳（メタデータ） (2022-11-25T13:14:56Z)
• S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a Single Viewpoint [22.42916940712357]
  本手法は,シーンの3次元形状とBRDFを表現するために,ニューラルリフレクタンス場を学習する。 本手法は,一視点画像からシーンの可視部分と可視部分の両方を含む3次元形状を復元することができる。 新規ビュー合成やリライトといったアプリケーションをサポートする。
  論文  参考訳（メタデータ） (2022-10-17T11:01:52Z)
• Controllable Shadow Generation Using Pixel Height Maps [58.59256060452418]
  物理ベースのシャドウレンダリング法は3次元のジオメトリーを必要とするが、必ずしも利用できない。 深層学習に基づく影合成法は、光情報から物体の影へのマッピングを、影の幾何学を明示的にモデル化することなく学習する。 オブジェクト,グラウンド,カメラのポーズ間の相関を符号化する新しい幾何学的表現であるピクセルハイを導入する。
  論文  参考訳（メタデータ） (2022-07-12T08:29:51Z)
• DeepShadow: Neural Shape from Shadow [12.283891012446647]
  DeepShadowは、光度ステレオシャドウマップから深度マップと表面正常を復元するワンショット方式である。 自己および鋳型影が3次元再構成を妨害するだけでなく、学習信号として単独で使用できることを示す。 提案手法は,ニューラルネットワークを用いて影から3次元形状を再構成する最初の方法である。
  論文  参考訳（メタデータ） (2022-03-28T20:11:15Z)
• Advances in Neural Rendering [115.05042097988768]
  本稿では,古典的レンダリングと学習された3Dシーン表現を組み合わせた手法について述べる。 これらの手法の重要な利点は、これらが3D一貫性を持ち、キャプチャされたシーンの新たな視点のようなアプリケーションを可能にすることである。 静的なシーンを扱う方法に加えて、非厳密な変形オブジェクトをモデル化するためのニューラルシーン表現についても取り上げる。
  論文  参考訳（メタデータ） (2021-11-10T18:57:01Z)
• R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
  現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。 本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。 提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
  論文  参考訳（メタデータ） (2021-09-20T15:09:22Z)
• Light Field Networks: Neural Scene Representations with Single-Evaluation Rendering [60.02806355570514]
  2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。 そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。 LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
  論文  参考訳（メタデータ） (2021-06-04T17:54:49Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)
• SSN: Soft Shadow Network for Image Compositing [26.606890595862826]
  画像合成のための制御可能なソフトシャドウを生成するためのインタラクティブなソフトシャドウネットワーク(SSN)を導入する。 SSNは2Dオブジェクトマスクを入力として取り、ペインティングやベクトルアートのようなイメージタイプに依存しない。 環境光マップは、角度や柔らかさなどの影の特性を制御するために用いられる。
  論文  参考訳（メタデータ） (2020-07-16T09:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。