論文の概要: Non-local Recurrent Regularization Networks for Multi-view Stereo

• arxiv url: http://arxiv.org/abs/2110.06436v1
• Date: Wed, 13 Oct 2021 01:43:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 15:00:03.952454
• Title: Non-local Recurrent Regularization Networks for Multi-view Stereo
• Title（参考訳）: 多視点ステレオのための非局所再帰正規化ネットワーク
• Authors: Qingshan Xu, Martin R. Oswald, Wenbing Tao, Marc Pollefeys, Zhaopeng Cui
• Abstract要約: 深層多視点ステレオネットワークでは、正確な深さ推定を実現するためにコスト正規化が不可欠である。 NR2-Netと呼ばれるマルチビューステレオのための新しい非局所リカレント正規化ネットワークを提案する。 提案手法は,DTU,タンク,テンプルの双方のデータセットに対して,最先端の再構築結果を実現する。
• 参考スコア（独自算出の注目度）: 108.17325696835542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In deep multi-view stereo networks, cost regularization is crucial to achieve accurate depth estimation. Since 3D cost volume filtering is usually memory-consuming, recurrent 2D cost map regularization has recently become popular and has shown great potential in reconstructing 3D models of different scales. However, existing recurrent methods only model the local dependencies in the depth domain, which greatly limits the capability of capturing the global scene context along the depth dimension. To tackle this limitation, we propose a novel non-local recurrent regularization network for multi-view stereo, named NR2-Net. Specifically, we design a depth attention module to capture non-local depth interactions within a sliding depth block. Then, the global scene context between different blocks is modeled in a gated recurrent manner. This way, the long-range dependencies along the depth dimension are captured to facilitate the cost regularization. Moreover, we design a dynamic depth map fusion strategy to improve the algorithm robustness. Our method achieves state-of-the-art reconstruction results on both DTU and Tanks and Temples datasets.
• Abstract（参考訳）: ディープマルチビューステレオネットワークでは、正確な深度推定を達成するためにコストの正規化が不可欠である。 3dコストボリュームフィルタリングは通常メモリ消費であるため、最近は2dコストマップの正則化が盛んになり、異なるスケールの3dモデルを再構築する大きな可能性を秘めている。 しかし、既存のリカレントメソッドは、深度領域の局所的な依存関係のみをモデル化し、深さ次元に沿ってグローバルなシーンコンテキストをキャプチャする能力を大幅に制限する。 そこで本研究では,nr2-netというマルチビューステレオのための非局所再帰正規化ネットワークを提案する。 具体的には、スライディング深度ブロック内の非局所深度相互作用をキャプチャするための深度注意モジュールを設計する。 そして、異なるブロック間のグローバルシーンコンテキストをゲートリカレントな方法でモデル化する。 これにより、深さ次元に沿った長距離依存性がキャプチャされ、コストの正規化が容易になる。 さらに,アルゴリズムの堅牢性を改善するために,動的深度マップ融合戦略を設計する。 本手法は,dtuとタンクとテンプルのデータセット上で,最先端の再構築結果を得る。

関連論文リスト

• Scale Propagation Network for Generalizable Depth Completion [16.733495588009184]
  入力から出力までのスケールを伝搬する新しいスケール伝搬正規化法(SP-Norm)を提案する。 また,SP-NormとConvNeXt V2のバックボーンをベースとした新しいネットワークアーキテクチャを開発した。 我々のモデルは、最先端の手法と比較して、高速かつ低メモリで常に最高の精度を達成している。
  論文  参考訳（メタデータ） (2024-10-24T03:53:06Z)
• 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
  3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。 私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。 本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
  論文  参考訳（メタデータ） (2021-12-01T00:52:42Z)
• VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
  本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。 ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。 異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
  論文  参考訳（メタデータ） (2021-08-19T11:33:58Z)
• SRH-Net: Stacked Recurrent Hourglass Network for Stereo Matching [33.66537830990198]
  本研究では,3次元畳み込みフィルタで用いる4次元立方体体積を相違点方向の逐次コストマップに分解する。 新たなリカレントモジュールであるスタックド・リカレント・ホアーグラス(SRH)が,各コストマップの処理のために提案されている。 提案アーキテクチャはエンドツーエンドのパイプラインで実装され、パブリックデータセットで評価される。
  論文  参考訳（メタデータ） (2021-05-25T00:10:56Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)
• Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction [12.728154351588053]
  マルチビュー画像から3次元再構成を行うための効率的なマルチビューステレオ(MVS)ネットワークを提案する。 高分解能深度を実現するために粗粒度深度推論戦略を導入する。
  論文  参考訳（メタデータ） (2020-11-25T13:34:11Z)
• Dense Hybrid Recurrent Multi-view Stereo Net with Dynamic Consistency Checking [54.58791377183574]
  1)DRENet(Dense Reception Expanded)モジュールで,原サイズの密集した特徴マップをマルチスケールのコンテキスト情報で抽出し,2)HU-LSTM(Hybrid U-LSTM)を用いて3次元マッチングボリュームを予測深度マップに変換する。 R-MVSNetのメモリ消費は19.4%しかかからないが,本手法は最先端の手法と競合する性能を示し,メモリ消費を劇的に削減する。
  論文  参考訳（メタデータ） (2020-07-21T14:59:59Z)
• OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems [88.41004332322788]
  超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。 より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。 我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
  論文  参考訳（メタデータ） (2020-03-18T05:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。