論文の概要: FineRecon: Depth-aware Feed-forward Network for Detailed 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2304.01480v1
• Date: Tue, 4 Apr 2023 02:50:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 15:44:10.372148
• Title: FineRecon: Depth-aware Feed-forward Network for Detailed 3D Reconstruction
• Title（参考訳）: FineRecon:詳細な3D再構成のための奥行き認識フィードフォワードネットワーク
• Authors: Noah Stier, Anurag Ranjan, Alex Colburn, Yajie Yan, Liang Yang, Fangchang Ma, Baptiste Angles
• Abstract要約: 推論に基づく3次元再構成の忠実度を改善するための有効な3つの方法を提案する。 まず、より正確な学習信号をネットワークに提供するために、分解能に依存しないTSDF監視戦略を提案する。 次に,多視点深度推定を用いた深度誘導戦略を導入し,シーン表現を強化し,より正確な表面を復元する。 提案手法はスムーズかつ高精度な再構成を行い,多深度および3次元再構成計測値に有意な改善が認められた。
• 参考スコア（独自算出の注目度）: 15.831382578910933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works on 3D reconstruction from posed images have demonstrated that direct inference of scene-level 3D geometry without iterative optimization is feasible using a deep neural network, showing remarkable promise and high efficiency. However, the reconstructed geometries, typically represented as a 3D truncated signed distance function (TSDF), are often coarse without fine geometric details. To address this problem, we propose three effective solutions for improving the fidelity of inference-based 3D reconstructions. We first present a resolution-agnostic TSDF supervision strategy to provide the network with a more accurate learning signal during training, avoiding the pitfalls of TSDF interpolation seen in previous work. We then introduce a depth guidance strategy using multi-view depth estimates to enhance the scene representation and recover more accurate surfaces. Finally, we develop a novel architecture for the final layers of the network, conditioning the output TSDF prediction on high-resolution image features in addition to coarse voxel features, enabling sharper reconstruction of fine details. Our method produces smooth and highly accurate reconstructions, showing significant improvements across multiple depth and 3D reconstruction metrics.
• Abstract（参考訳）: 提案画像からの3次元再構成に関する最近の研究は、深層ニューラルネットワークを用いてシーンレベルの3次元幾何を反復最適化せずに直接推定できることを実証し、顕著な将来性と高い効率性を示した。 しかし、通常3次元切断符号付き距離関数(tsdf)として表される再構成ジオメトリは、微細な幾何学的詳細を持たずに粗いことが多い。 この問題に対処するため,我々は推論に基づく3次元再構成の忠実性を改善するための3つの効果的な解を提案する。 まず,従来の研究で見られたTSDF補間の落とし穴を回避し,トレーニング中により正確な学習信号を提供するためのTSDF監視戦略を提案する。 次に,多視点深度推定を用いた深度誘導戦略を導入し,シーン表現の強化とより正確な表面の復元を行う。 最後に,ネットワークの最終層に対して,粗いボクセル機能に加えて,高分解能画像特徴に対する出力tsdf予測を条件とし,より鮮明な細部再構成を実現する新しいアーキテクチャを開発した。 提案手法はスムーズかつ高精度な再構成を行い,多深度および3次元再構成計測値に有意な改善が認められた。

関連論文リスト

• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections [92.38975002642455]
  大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。 提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築することができる。
  論文  参考訳（メタデータ） (2023-12-20T18:59:42Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• CVRecon: Rethinking 3D Geometric Feature Learning For Neural Reconstruction [12.53249207602695]
  本稿では,エンドツーエンドの3Dニューラル再構成フレームワークCVReconを提案する。 コストボリュームにリッチな幾何学的埋め込みを利用して、3次元の幾何学的特徴学習を容易にする。
  論文  参考訳（メタデータ） (2023-04-28T05:30:19Z)
• Cross-Dimensional Refined Learning for Real-Time 3D Visual Perception from Monocular Video [2.2299983745857896]
  本稿では3次元シーンの幾何学的構造と意味的ラベルを協調的に知覚する新しいリアルタイム能動的学習法を提案する。 本稿では,3次元メッシュと3次元セマンティックラベリングの両方をリアルタイムに抽出する,エンドツーエンドのクロスディメンテーションニューラルネットワーク(CDRNet)を提案する。
  論文  参考訳（メタデータ） (2023-03-16T11:53:29Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• 3D Shapes Local Geometry Codes Learning with SDF [8.37542758486152]
  3次元形状記述としての符号付き距離関数(SDF)は、描画と再構成のための3次元幾何学を表現する最も効果的な手法の1つである。 本稿では,DeepSDFモデルのキャパシティ低下から生じる復元の劣化問題について考察する。 本稿では,局所形状から学習することで,元のDeepSDF結果を改善するモデルであるローカル幾何符号学習(LGCL)を提案する。
  論文  参考訳（メタデータ） (2021-08-19T09:56:03Z)
• Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
  本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。 我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T18:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。