論文の概要: ERF: Explicit Radiance Field Reconstruction From Scratch
- arxiv url: http://arxiv.org/abs/2203.00051v1
- Date: Mon, 28 Feb 2022 19:37:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-02 14:48:50.948189
- Title: ERF: Explicit Radiance Field Reconstruction From Scratch
- Title（参考訳）: ERF:スクラッチからの放射場再構成
- Authors: Samir Aroudj and Steven Lovegrove and Eddy Ilg and Tanner Schmidt and
Michael Goesele and Richard Newcombe
- Abstract要約: センサのポーズとキャリブレーションでシーンの一連の画像を処理し,フォトリアルなデジタルモデルを推定する,新しい高密度3次元再構成手法を提案する。
重要な革新の1つは、根底にある体積表現が完全に明示的であることである。
我々は,本手法が汎用的かつ実用的であることを示し,撮影に高度に制御された実験室の設置は必要とせず,多種多様な物体でシーンを再構築することができることを示した。
- 参考スコア（独自算出の注目度）: 12.254150867994163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel explicit dense 3D reconstruction approach that processes a
set of images of a scene with sensor poses and calibrations and estimates a
photo-real digital model. One of the key innovations is that the underlying
volumetric representation is completely explicit in contrast to neural
network-based (implicit) alternatives. We encode scenes explicitly using clear
and understandable mappings of optimization variables to scene geometry and
their outgoing surface radiance. We represent them using hierarchical
volumetric fields stored in a sparse voxel octree. Robustly reconstructing such
a volumetric scene model with millions of unknown variables from registered
scene images only is a highly non-convex and complex optimization problem. To
this end, we employ stochastic gradient descent (Adam) which is steered by an
inverse differentiable renderer.
We demonstrate that our method can reconstruct models of high quality that
are comparable to state-of-the-art implicit methods. Importantly, we do not use
a sequential reconstruction pipeline where individual steps suffer from
incomplete or unreliable information from previous stages, but start our
optimizations from uniformed initial solutions with scene geometry and radiance
that is far off from the ground truth. We show that our method is general and
practical. It does not require a highly controlled lab setup for capturing, but
allows for reconstructing scenes with a vast variety of objects, including
challenging ones, such as outdoor plants or furry toys. Finally, our
reconstructed scene models are versatile thanks to their explicit design. They
can be edited interactively which is computationally too costly for implicit
alternatives.
- Abstract（参考訳）: センサポーズとキャリブレーションを用いてシーンの一連の画像を処理し,フォトリアルデジタルモデルを推定する,新しい明快な3次元再構成手法を提案する。
重要なイノベーションの1つは、基盤となるボリューム表現が、ニューラルネットワークベースの代替(シンプル)とは対照的に完全に明示的であることです。
最適化変数の明確かつ理解可能なマッピングをシーン幾何学とその外面放射率に用いたシーンを明示的にエンコードする。
疎 voxel octree に格納された階層型ボリュームフィールドを用いて表現する。
登録されたシーン画像から無数の未知変数でそのようなボリュームシーンモデルをロバストに再構築することは、非常に非凸で複雑な最適化問題である。
この目的のために、逆微分可能なレンダラーで操る確率勾配降下(Adam)を用いる。
提案手法は,最先端の暗黙的手法に匹敵する高品質のモデルを再構築できることを実証する。
重要なことは、個々のステップが前の段階からの不完全または信頼できない情報に悩まされるようなシーケンシャルな再構築パイプラインは使用しないが、地上から遠く離れたシーン幾何学と放射率で統一された初期解から最適化を開始する。
我々の方法が一般的で実用的であることを示す。
撮影には高度に制御された実験室のセットアップは必要ないが、屋外の植物や毛皮のような挑戦的なものを含む、幅広い種類の物体でシーンを再構築することができる。
最後に,その明示的な設計により,再構成されたシーンモデルは多用途である。
それらはインタラクティブに編集できるので、暗黙の代替には計算コストがかかりすぎる。
関連論文リスト
- No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:22Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳（メタデータ） (2023-08-10T17:55:02Z) - Differentiable Blocks World: Qualitative 3D Decomposition by Rendering
Primitives [70.32817882783608]
本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。
既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。
得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
論文 参考訳（メタデータ） (2023-07-11T17:58:31Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳（メタデータ） (2022-11-21T17:42:42Z) - Generalizable Patch-Based Neural Rendering [46.41746536545268]
未知のシーンの新たなビューを合成できるモデル学習のための新しいパラダイムを提案する。
本手法は,シーンから採取したパッチの集合からのみ,新規シーンにおける対象光線の色を直接予測することができる。
本手法は,従来よりも少ないデータでトレーニングされた場合であっても,目立たないシーンの新たなビュー合成において,最先端のビュー合成よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-07-21T17:57:04Z) - ARF: Artistic Radiance Fields [63.79314417413371]
本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
論文 参考訳（メタデータ） (2022-06-13T17:55:31Z) - PERF: Performant, Explicit Radiance Fields [1.933681537640272]
放射場に基づく画像に基づく3次元再構成手法を提案する。
体積再構成の問題は非線形最小二乗問題として定式化され、ニューラルネットワークを使わずに明示的に解かれる。
論文 参考訳（メタデータ） (2021-12-10T15:29:00Z) - GeoNeRF: Generalizing NeRF with Geometry Priors [2.578242050187029]
ニューラルラジアンス場に基づく一般化可能なフォトリアリスティック・ノベルビュー手法GeoNeRFを提案する。
我々のアプローチは、幾何学的推論と合成という2つの主要な段階から構成される。
実験により、GeoNeRFは様々な合成および実際のデータセット上で、最先端の一般化可能なニューラルネットワークレンダリングモデルより優れていることが示された。
論文 参考訳（メタデータ） (2021-11-26T15:15:37Z) - Shape From Tracing: Towards Reconstructing 3D Object Geometry and SVBRDF
Material from Images via Differentiable Path Tracing [16.975014467319443]
識別可能なパストレースは、複雑な外観効果を再現できるため、魅力的なフレームワークである。
本稿では,初期粗いメッシュとメッシュファセット単位の材料表現を改良するために,微分可能なレイトレーシングを利用する方法を示す。
また、制約のない環境下での現実世界の物体の初期再構成を洗練させる方法についても示す。
論文 参考訳（メタデータ） (2020-12-06T18:55:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。