論文の概要: NeuralRecon: Real-Time Coherent 3D Reconstruction from Monocular Video

• arxiv url: http://arxiv.org/abs/2104.00681v1
• Date: Thu, 1 Apr 2021 17:59:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 14:50:13.251888
• Title: NeuralRecon: Real-Time Coherent 3D Reconstruction from Monocular Video
• Title（参考訳）: NeuralRecon:モノクロビデオからのリアルタイムコヒーレント3D再構成
• Authors: Jiaming Sun, Yiming Xie, Linghao Chen, Xiaowei Zhou, Hujun Bao
• Abstract要約: 本研究では,各ビデオフラグメントのTSDFボリュームに代表される局所曲面をニューラルネットワークで順次再構成することを提案する。 学習ベースのTSDF融合モジュールは、ネットワークが以前のフラグメントから機能をフューズするために使用される。 ScanNetと7-Scenesのデータセットの実験により、我々のシステムは精度と速度の両面で最先端の手法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 41.554961144321474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel framework named NeuralRecon for real-time 3D scene reconstruction from a monocular video. Unlike previous methods that estimate single-view depth maps separately on each key-frame and fuse them later, we propose to directly reconstruct local surfaces represented as sparse TSDF volumes for each video fragment sequentially by a neural network. A learning-based TSDF fusion module based on gated recurrent units is used to guide the network to fuse features from previous fragments. This design allows the network to capture local smoothness prior and global shape prior of 3D surfaces when sequentially reconstructing the surfaces, resulting in accurate, coherent, and real-time surface reconstruction. The experiments on ScanNet and 7-Scenes datasets show that our system outperforms state-of-the-art methods in terms of both accuracy and speed. To the best of our knowledge, this is the first learning-based system that is able to reconstruct dense coherent 3D geometry in real-time.
• Abstract（参考訳）: 本稿では,モノクロ映像からのリアルタイム3次元シーン再構成のためのNeuralReconという新しいフレームワークを提案する。 各キーフレーム上で個別に一視点深度マップを推定し、後で融合させる従来の手法とは異なり、ニューラルネットワークにより、各ビデオフラグメントに対してスパースTSDFボリュームとして表される局所曲面を直接再構成することを提案する。 ゲートリカレントユニットに基づく学習ベースのTSDF融合モジュールは、ネットワークが以前のフラグメントから機能をフューズするために使用される。 この設計により、ネットワークは3d表面の前の局所的な滑らかさと大域的な形状を連続的に再現し、正確でコヒーレントでリアルタイムな表面再構成を可能にする。 ScanNetと7-Scenesのデータセットの実験により、我々のシステムは精度と速度の両方で最先端の手法より優れています。 我々の知る限りでは、これは、密集した3次元幾何学をリアルタイムで再構築できる最初の学習ベースシステムである。

関連論文リスト

• SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and Quasi-Planar Segmentation [53.83313235792596]
  本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。 2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。 本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
  論文  参考訳（メタデータ） (2023-06-28T22:36:44Z)
• SimpleMapping: Real-Time Visual-Inertial Dense Mapping with Deep Multi-View Stereo [13.535871843518953]
  モノクロ画像とIMU読解のみを用いた高画質のリアルタイムビジュアル慣性高密度マッピング法を提案する。 そこで本稿では,VIOシステムから得られる情報的だがノイズの多いスパースポイントを効果的に活用できるスパースポイント支援ステレオニューラルネットワーク(SPA-MVSNet)を提案する。 提案手法は,EuRoCデータセットの難易度評価において,既存システムよりも39.7%のFスコア向上を実現している。
  論文  参考訳（メタデータ） (2023-06-14T17:28:45Z)
• FineRecon: Depth-aware Feed-forward Network for Detailed 3D Reconstruction [13.157400338544177]
  ポーズ画像からの3次元再構成に関する最近の研究は、深層ニューラルネットワークを用いてシーンレベルの3次元幾何を直接推定できることを実証している。 推論に基づく3次元再構成の忠実度を改善するための有効な3つの方法を提案する。 提案手法はスムーズかつ高精度な再構成を行い,多深度および3次元再構成の指標において顕著な改善が見られた。
  論文  参考訳（メタデータ） (2023-04-04T02:50:29Z)
• VolRecon: Volume Rendering of Signed Ray Distance Functions for Generalizable Multi-View Reconstruction [64.09702079593372]
  VolRecon は Signed Ray Distance Function (SRDF) を用いた新しい一般化可能な暗黙的再構成法である DTUデータセットでは、VolReconはスパースビュー再構築においてSparseNeuSを約30%上回り、フルビュー再構築においてMVSNetと同等の精度を達成する。
  論文  参考訳（メタデータ） (2022-12-15T18:59:54Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• PlanarRecon: Real-time 3D Plane Detection and Reconstruction from Posed Monocular Videos [32.286637700503995]
  PlanarReconは、提示されたモノクロビデオから3次元平面のグローバルなコヒーレントな検出と再構築のためのフレームワークである。 学習ベースのトラッキングと融合モジュールは、以前のフラグメントから平面をマージして、コヒーレントなグローバルな平面再構成を形成するように設計されている。 実験の結果,提案手法はリアルタイムでありながら,ScanNetデータセット上での最先端のパフォーマンスを実現することがわかった。
  論文  参考訳（メタデータ） (2022-06-15T17:59:16Z)
• Learnable Triangulation for Deep Learning-based 3D Reconstruction of Objects of Arbitrary Topology from Single RGB Images [12.693545159861857]
  モノクロ画像から3次元物体を再構成する深層強化学習手法を提案する。 提案手法は, 視覚的品質, 再構成精度, 計算時間において, 最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2021-09-24T09:44:22Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
  本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。 我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T18:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。