論文の概要: Fast-MVSNet: Sparse-to-Dense Multi-View Stereo With Learned Propagation
and Gauss-Newton Refinement
- arxiv url: http://arxiv.org/abs/2003.13017v1
- Date: Sun, 29 Mar 2020 13:31:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 13:51:35.728559
- Title: Fast-MVSNet: Sparse-to-Dense Multi-View Stereo With Learned Propagation
and Gauss-Newton Refinement
- Title（参考訳）: Fast-MVSNet: プロパゲーションとガウスニュートンリファインメントを学習したSparse-to-Dense Multi-View Stereo
- Authors: Zehao Yu, Shenghua Gao
- Abstract要約: 本稿では,MVSにおける高速かつ高精度な深度推定のための,スパース・トゥ・ディエンス・サース・トゥ・ファインメント・フレームワークであるFast-MVSNetを提案する。
具体的には、Fast-MVSNetにおいて、スパース深度マップと高分解能深度マップを学習するためのスパースコストボリュームを最初に構築する。
最終的に、深度マップをさらに最適化するために、単純だが効率的なガウスニュートン層が提案されている。
- 参考スコア（独自算出の注目度）: 46.8514966956438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Almost all previous deep learning-based multi-view stereo (MVS) approaches
focus on improving reconstruction quality. Besides quality, efficiency is also
a desirable feature for MVS in real scenarios. Towards this end, this paper
presents a Fast-MVSNet, a novel sparse-to-dense coarse-to-fine framework, for
fast and accurate depth estimation in MVS. Specifically, in our Fast-MVSNet, we
first construct a sparse cost volume for learning a sparse and high-resolution
depth map. Then we leverage a small-scale convolutional neural network to
encode the depth dependencies for pixels within a local region to densify the
sparse high-resolution depth map. At last, a simple but efficient Gauss-Newton
layer is proposed to further optimize the depth map. On one hand, the
high-resolution depth map, the data-adaptive propagation method and the
Gauss-Newton layer jointly guarantee the effectiveness of our method. On the
other hand, all modules in our Fast-MVSNet are lightweight and thus guarantee
the efficiency of our approach. Besides, our approach is also memory-friendly
because of the sparse depth representation. Extensive experimental results show
that our method is 5$\times$ and 14$\times$ faster than Point-MVSNet and
R-MVSNet, respectively, while achieving comparable or even better results on
the challenging Tanks and Temples dataset as well as the DTU dataset. Code is
available at https://github.com/svip-lab/FastMVSNet.
- Abstract（参考訳）: これまでのほぼすべてのディープラーニングベースのマルチビューステレオ(mvs)アプローチは、リコンストラクションの品質向上に重点を置いている。
品質に加えて、実際のシナリオでは効率性もMVSにとって望ましい機能です。
そこで本論文では,MVSにおける高速かつ高精度な深度推定のための,スパース・トゥ・ディエンス・サース・トゥ・ファインメント・フレームワークであるFast-MVSNetを提案する。
特に、fast-mvsnetでは、スパースで高解像度な深度マップを学習するために、まずスパースコストボリュームを構築します。
次に、小さな畳み込みニューラルネットワークを用いて局所領域内の画素の深さ依存性を符号化し、スパース高解像度深度マップを密度化する。
最後に、深度マップをさらに最適化するために、単純で効率的なガウス・ニュートン層が提案されている。
一方,高分解能深度マップ,データ適応伝播法,ガウス・ニュートン層が共同で提案手法の有効性を保証している。
一方、Fast-MVSNetのすべてのモジュールは軽量であるため、このアプローチの効率性が保証されます。
また,スパース深度表現によるメモリフレンドリーな手法も提案した。
広範な実験結果から,本手法はpoint-mvsnetおよびr-mvsnetよりも5$\times$と14$\times$高速であることが判明した。
コードはhttps://github.com/svip-lab/FastMVSNetで入手できる。
関連論文リスト
- RayMVSNet++: Learning Ray-based 1D Implicit Fields for Accurate
Multi-View Stereo [21.209964556493368]
RayMVSNetは、シーン深度を示すゼロクロスポイントを用いて、各カメラ線に沿った1次元暗黙フィールドの逐次予測を学習する。
RayMVSNet++はScanNetデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-07-16T02:10:47Z) - SimpleMapping: Real-Time Visual-Inertial Dense Mapping with Deep
Multi-View Stereo [13.535871843518953]
モノクロ画像とIMU読解のみを用いた高画質のリアルタイムビジュアル慣性高密度マッピング法を提案する。
そこで本稿では,VIOシステムから得られる情報的だがノイズの多いスパースポイントを効果的に活用できるスパースポイント支援ステレオニューラルネットワーク(SPA-MVSNet)を提案する。
提案手法は,EuRoCデータセットの難易度評価において,既存システムよりも39.7%のFスコア向上を実現している。
論文 参考訳（メタデータ） (2023-06-14T17:28:45Z) - SFNet: Faster and Accurate Semantic Segmentation via Semantic Flow [88.97790684009979]
性能を改善するための一般的な実践は、強力な意味表現を持つ高解像度の特徴写像を得ることである。
隣接レベルの特徴マップ間のテキストセマンティックフローを学習するためのフローアライメントモジュール(FAM)を提案する。
また,高分解能特徴写像と低分解能特徴写像を直接整列するGated Dual Flow Alignment Moduleを提案する。
論文 参考訳（メタデータ） (2022-07-10T08:25:47Z) - A Confidence-based Iterative Solver of Depths and Surface Normals for
Deep Multi-view Stereo [41.527018997251744]
本研究では,深度,表面正規度,視野ごとの信頼度を共同で予測する深層多視点ステレオ(MVS)システムを提案する。
我々のアプローチの鍵は、ビューごとの深度マップと正規写像に対して反復的に解決する新しい解法である。
提案手法は,従来型および深層学習に基づくMVSパイプラインの深部品質を継続的に向上する。
論文 参考訳（メタデータ） (2022-01-19T14:08:45Z) - Curvature-guided dynamic scale networks for Multi-view Stereo [10.667165962654996]
本稿では,重み計算を伴わずにマッチングコストの性能を向上させるために,ロバストな特徴抽出ネットワークを学習することに焦点を当てる。
動的スケール特徴抽出ネットワーク,すなわちCDSFNetを提案する。
複数の新しい畳み込み層で構成され、それぞれが画像表面の通常の曲率でガイドされる各画素に対して適切なパッチスケールを選択することができる。
論文 参考訳（メタデータ） (2021-12-11T14:41:05Z) - IterMVS: Iterative Probability Estimation for Efficient Multi-View
Stereo [71.84742490020611]
IterMVSは高解像度マルチビューステレオのための新しいデータ駆動方式である。
隠れ状態の深さの画素単位の確率分布を符号化するGRUに基づく新しい推定器を提案する。
DTU, タンク&テンプル, ETH3Dにおける本手法の有効性と有効性を検証する。
論文 参考訳（メタデータ） (2021-12-09T18:58:02Z) - CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth [83.77839773394106]
本稿では,軽量で密結合の深い深度ネットワークと視覚慣性オドメトリーシステムを提案する。
我々は、初期深度予測の精度を高めるために、以前にVIOから切り離されたスパース特徴を持つネットワークを提供する。
本稿では,ネットワークとコードヤコビアンでのみGPUアクセラレーションを活用しながら,シングルスレッド実行でリアルタイムに動作可能であることを示す。
論文 参考訳（メタデータ） (2020-12-18T09:42:54Z) - Dense Hybrid Recurrent Multi-view Stereo Net with Dynamic Consistency
Checking [54.58791377183574]
1)DRENet(Dense Reception Expanded)モジュールで,原サイズの密集した特徴マップをマルチスケールのコンテキスト情報で抽出し,2)HU-LSTM(Hybrid U-LSTM)を用いて3次元マッチングボリュームを予測深度マップに変換する。
R-MVSNetのメモリ消費は19.4%しかかからないが,本手法は最先端の手法と競合する性能を示し,メモリ消費を劇的に削減する。
論文 参考訳（メタデータ） (2020-07-21T14:59:59Z) - Real-Time High-Performance Semantic Image Segmentation of Urban Street
Scenes [98.65457534223539]
都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。
提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
論文 参考訳（メタデータ） (2020-03-11T08:45:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。