論文の概要: Multi-View Neural Surface Reconstruction with Structured Light
- arxiv url: http://arxiv.org/abs/2211.11971v1
- Date: Tue, 22 Nov 2022 03:10:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 17:53:13.551259
- Title: Multi-View Neural Surface Reconstruction with Structured Light
- Title（参考訳）: 構造光を用いた多視点ニューラルサーフェス再構成
- Authors: Chunyu Li, Taisuke Hashimoto, Eiichi Matsumoto, Hiroharu Kato
- Abstract要約: 微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。
DRに基づく多視点3Dオブジェクト再構成において,構造化光(SL)を用いたアクティブセンシングを導入し,任意のシーンやカメラポーズの未知の形状と外観を学習する。
本手法は, テクスチャレス領域における高い再現精度を実現し, カメラポーズキャリブレーションの労力を削減する。
- 参考スコア（独自算出の注目度）: 7.709526244898887
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Three-dimensional (3D) object reconstruction based on differentiable
rendering (DR) is an active research topic in computer vision. DR-based methods
minimize the difference between the rendered and target images by optimizing
both the shape and appearance and realizing a high visual reproductivity.
However, most approaches perform poorly for textureless objects because of the
geometrical ambiguity, which means that multiple shapes can have the same
rendered result in such objects. To overcome this problem, we introduce active
sensing with structured light (SL) into multi-view 3D object reconstruction
based on DR to learn the unknown geometry and appearance of arbitrary scenes
and camera poses. More specifically, our framework leverages the
correspondences between pixels in different views calculated by structured
light as an additional constraint in the DR-based optimization of implicit
surface, color representations, and camera poses. Because camera poses can be
optimized simultaneously, our method realizes high reconstruction accuracy in
the textureless region and reduces efforts for camera pose calibration, which
is required for conventional SL-based methods. Experiment results on both
synthetic and real data demonstrate that our system outperforms conventional
DR- and SL-based methods in a high-quality surface reconstruction, particularly
for challenging objects with textureless or shiny surfaces.
- Abstract（参考訳）: 微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。
DRベースの手法は、形状と外観の両方を最適化し、高い視覚的生殖力を実現することにより、レンダリング画像とターゲット画像の差を最小限に抑える。
しかし、ほとんどの手法は、幾何学的曖昧さのため、テクスチャのないオブジェクトに対して不適当である。
この問題を解決するために、DRに基づく多視点3Dオブジェクト再構成に構造化光(SL)を用いたアクティブセンシングを導入し、任意のシーンやカメラポーズの未知の形状と外観を学習する。
より具体的には、暗黙的表面、色表現、カメラポーズのdrに基づく最適化における追加制約として、構造化光によって計算された異なるビューのピクセル間の対応を利用する。
カメラポーズを同時に最適化できるため,スチャレス領域において高い再構成精度を実現し,従来のsl法に必要なカメラポーズ校正への取り組みを低減できる。
合成データと実データの両方を用いた実験の結果,従来のdrm法とsl法を上回って,特にテクスチャレスや光沢のある物体に対して高品質な表面再構成を行った。
関連論文リスト
- UniSDF: Unifying Neural Representations for High-Fidelity 3D
Reconstruction of Complex Scenes with Reflections [92.38975002642455]
大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。
提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築することができる。
論文 参考訳（メタデータ） (2023-12-20T18:59:42Z) - Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning [38.72679977945778]
我々は多視点空中画像を用いて、ニューラルサイン距離場(SDF)を用いたファサードの形状、照明、材料を再構成する。
本実験は, ファサード全体の逆レンダリング, 新規なビュー合成, シーン編集において, 最先端のベースラインと比較して, 手法の優れた品質を示すものである。
論文 参考訳（メタデータ） (2023-11-20T15:03:56Z) - Single-view 3D Scene Reconstruction with High-fidelity Shape and Texture [47.44029968307207]
本研究では,物体の形状とテクスチャを同時に高忠実度に再現する新しい枠組みを提案する。
提案手法は,SSR(Single-view Neural implicit Shape and Radiance Field)表現を用いて,明示的な3次元形状制御とボリュームレンダリングの両方を活用する。
我々のフレームワークの特徴は、単一のビュー3D再構成モデルにレンダリング機能をシームレスに統合しながら、きめ細かいテクスチャメッシュを生成する能力である。
論文 参考訳（メタデータ） (2023-11-01T11:46:15Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳（メタデータ） (2022-05-25T17:59:53Z) - Shape and Reflectance Reconstruction in Uncontrolled Environments by
Differentiable Rendering [27.41344744849205]
従来のハンドヘルドカメラを用いた多視点写真からシーンの3次元形状と反射率を再構築する効率的な手法を提案する。
また,本手法は,新しい視点の視覚的合成と定量化において,最先端の代替手法と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2021-10-25T14:09:10Z) - Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。
ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。
提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文 参考訳（メタデータ） (2020-08-18T06:33:40Z) - Vid2Curve: Simultaneous Camera Motion Estimation and Thin Structure
Reconstruction from an RGB Video [90.93141123721713]
ワイヤーフレーム彫刻、フェンス、ケーブル、電力線、木の枝などの細い構造は現実世界では一般的である。
従来の画像ベースや深度ベースの再構築手法を用いて3Dデジタルモデルを入手することは極めて困難である。
ハンドヘルドカメラで撮影したカラービデオから,カメラの動きを同時に推定し,複雑な3次元薄膜構造の形状を高品質に再構成する手法を提案する。
論文 参考訳（メタデータ） (2020-05-07T10:39:20Z) - NodeSLAM: Neural Object Descriptors for Multi-View Shape Reconstruction [4.989480853499916]
本稿では,新しい確率的・微分レンダリングエンジンとともに,効率的で最適化可能な多クラス学習オブジェクト記述子を提案する。
本フレームワークは,ロボットの把握・配置,拡張現実,第1次オブジェクトレベルSLAMシステムなど,複数の応用が可能な,正確で堅牢な3次元オブジェクト再構成を実現する。
論文 参考訳（メタデータ） (2020-04-09T11:09:56Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z) - Multiview Neural Surface Reconstruction by Disentangling Geometry and
Appearance [46.488713939892136]
我々は、未知の幾何学、カメラパラメータ、および表面からカメラに向かって反射された光を近似するニューラルネットワークを同時に学習するニューラルネットワークを導入する。
我々は、DTU MVSデータセットから、異なる素材特性、照明条件、ノイズの多いカメラ素材を実世界の2D画像でトレーニングした。
論文 参考訳（メタデータ） (2020-03-22T10:20:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。