論文の概要: 3DVNet: Multi-View Depth Prediction and Volumetric Refinement

• arxiv url: http://arxiv.org/abs/2112.00202v1
• Date: Wed, 1 Dec 2021 00:52:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 03:35:29.628310
• Title: 3DVNet: Multi-View Depth Prediction and Volumetric Refinement
• Title（参考訳）: 3DVNet:マルチビュー深度予測とボリュームリファインメント
• Authors: Alexander Rich, Noah Stier, Pradeep Sen, Tobias H\"ollerer
• Abstract要約: 3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。 私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。 本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
• 参考スコア（独自算出の注目度）: 68.68537312256144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present 3DVNet, a novel multi-view stereo (MVS) depth-prediction method that combines the advantages of previous depth-based and volumetric MVS approaches. Our key idea is the use of a 3D scene-modeling network that iteratively updates a set of coarse depth predictions, resulting in highly accurate predictions which agree on the underlying scene geometry. Unlike existing depth-prediction techniques, our method uses a volumetric 3D convolutional neural network (CNN) that operates in world space on all depth maps jointly. The network can therefore learn meaningful scene-level priors. Furthermore, unlike existing volumetric MVS techniques, our 3D CNN operates on a feature-augmented point cloud, allowing for effective aggregation of multi-view information and flexible iterative refinement of depth maps. Experimental results show our method exceeds state-of-the-art accuracy in both depth prediction and 3D reconstruction metrics on the ScanNet dataset, as well as a selection of scenes from the TUM-RGBD and ICL-NUIM datasets. This shows that our method is both effective and generalizes to new settings.
• Abstract（参考訳）: 本稿では,従来の深度ベースと体積型mvsアプローチの利点を組み合わせた,新しいマルチビューステレオ(mvs)深度推定手法である3dvnetを提案する。 私たちの重要なアイデアは、3dシーンモデリングネットワークを使用することで、粗い深度の予測セットを反復的に更新することで、基礎となるシーンの形状に合致する高精度な予測が可能になります。 既存の深度予測手法とは異なり,本手法では,全深度マップ上で世界空間で動作する3次元畳み込みニューラルネットワーク(CNN)を併用する。 したがって、ネットワークは意味のあるシーンレベルの事前学習ができる。 さらに,既存のボリュームMVS技術とは異なり,我々の3D CNNは,多視点情報の効果的な集約と深度マップのフレキシブルな反復改善を実現するために,機能拡張点クラウド上で動作している。 実験の結果,scannetデータセットの深さ予測と3次元再構成指標,およびtum-rgbdおよびicl-nuimデータセットからのシーン選択において,最先端の精度を上回った。 これは,本手法が有効であり,新しい設定に一般化可能であることを示している。

関連論文リスト

• Constraining Depth Map Geometry for Multi-View Stereo: A Dual-Depth Approach with Saddle-shaped Depth Cells [23.345139129458122]
  同じ深度予測誤差を用いても、異なる深度ジオメトリには大きな性能ギャップがあることが示される。 サドル形状のセルからなる理想的な深度幾何学を導入し, 予測深度マップは地表面を上下に振動する。 また,本手法は,MVSにおける深度幾何学の新たな研究方向を示す。
  論文  参考訳（メタデータ） (2023-07-18T11:37:53Z)
• SimpleMapping: Real-Time Visual-Inertial Dense Mapping with Deep Multi-View Stereo [13.535871843518953]
  モノクロ画像とIMU読解のみを用いた高画質のリアルタイムビジュアル慣性高密度マッピング法を提案する。 そこで本稿では,VIOシステムから得られる情報的だがノイズの多いスパースポイントを効果的に活用できるスパースポイント支援ステレオニューラルネットワーク(SPA-MVSNet)を提案する。 提案手法は,EuRoCデータセットの難易度評価において,既存システムよりも39.7%のFスコア向上を実現している。
  論文  参考訳（メタデータ） (2023-06-14T17:28:45Z)
• GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
  本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。 提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-19T17:56:03Z)
• TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo [55.30992853477754]
  本稿では,リアルタイムな単分子追跡と高密度フレームワークであるTANDEMを紹介する。 ポーズ推定のために、TANDEMはアライメントのスライディングウィンドウに基づいて光度バンドル調整を行う。 TANDEMは最先端のリアルタイム3D再構成性能を示す。
  論文  参考訳（メタデータ） (2021-11-14T19:01:02Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• Self-supervised Depth Estimation Leveraging Global Perception and Geometric Smoothness Using On-board Videos [0.5276232626689566]
  我々は,グローバルな特徴と局所的な特徴を同時に抽出する画素ワイド深度推定のためのDLNetを提案する。 幾何学的に自然な深度マップを予測するために3次元形状の滑らかさ損失を提案する。 KITTIとMake3Dベンチマークの実験では、提案したDLNetは最先端の手法と競合する性能を実現している。
  論文  参考訳（メタデータ） (2021-06-07T10:53:27Z)
• PLADE-Net: Towards Pixel-Level Accuracy for Self-Supervised Single-View Depth Estimation with Neural Positional Encoding and Distilled Matting Loss [49.66736599668501]
  PLADE-Netと呼ばれる自己監視型単視点画素レベルの高精度深度推定ネットワークを提案する。 提案手法は,KITTIデータセットの$delta1$測定値の95%を超え,前例のない精度を示す。
  論文  参考訳（メタデータ） (2021-03-12T15:54:46Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)
• DELTAS: Depth Estimation by Learning Triangulation And densification of Sparse points [14.254472131009653]
  多視点ステレオ (MVS) は, 能動深度センシングの精度と単眼深度推定の実用性の間の黄金平均値である。 3次元畳み込みニューラルネットワーク(CNN)を用いたコストボリュームベースのアプローチにより、MVSシステムの精度が大幅に向上した。 まず、(a)興味点の記述子を検出して評価し、次に(b)興味点の小さな集合をマッチングして三角測量し、最後に(c)CNNを用いてこのスパースな3D点の集合を密度化することで、効率的な深さ推定手法を提案する。
  論文  参考訳（メタデータ） (2020-03-19T17:56:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。