論文の概要: DS-MVSNet: Unsupervised Multi-view Stereo via Depth Synthesis

• arxiv url: http://arxiv.org/abs/2208.06674v1
• Date: Sat, 13 Aug 2022 15:25:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 13:52:50.052292
• Title: DS-MVSNet: Unsupervised Multi-view Stereo via Depth Synthesis
• Title（参考訳）: ds-mvsnet:深度合成による教師なしマルチビューステレオ
• Authors: Jingliang Li, Zhengda Lu, Yiqun Wang, Ying Wang, Jun Xiao
• Abstract要約: 本稿では,DS-MVSNetを提案する。DS-MVSNetは,ソース深度合成を備えたエンドツーエンドの教師なしMVS構造である。 確率体積の情報をマイニングするために、確率体積と深度仮説をソースビューにスプラッターすることで、ソース深度を創造的に合成する。 一方,ソース深度を利用して参照画像を描画し,奥行きの整合性損失と深さの滑らかさ損失を提案する。
• 参考スコア（独自算出の注目度）: 11.346448410152844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, supervised or unsupervised learning-based MVS methods achieved excellent performance compared with traditional methods. However, these methods only use the probability volume computed by cost volume regularization to predict reference depths and this manner cannot mine enough information from the probability volume. Furthermore, the unsupervised methods usually try to use two-step or additional inputs for training which make the procedure more complicated. In this paper, we propose the DS-MVSNet, an end-to-end unsupervised MVS structure with the source depths synthesis. To mine the information in probability volume, we creatively synthesize the source depths by splattering the probability volume and depth hypotheses to source views. Meanwhile, we propose the adaptive Gaussian sampling and improved adaptive bins sampling approach that improve the depths hypotheses accuracy. On the other hand, we utilize the source depths to render the reference images and propose depth consistency loss and depth smoothness loss. These can provide additional guidance according to photometric and geometric consistency in different views without additional inputs. Finally, we conduct a series of experiments on the DTU dataset and Tanks & Temples dataset that demonstrate the efficiency and robustness of our DS-MVSNet compared with the state-of-the-art methods.
• Abstract（参考訳）: 近年,教師付きあるいは教師なしの学習ベースMVS法は,従来の手法と比較して優れた性能を示した。 しかし、これらの手法はコスト体積正規化によって計算された確率体積のみを用いて基準深度を予測し、この方法では確率体積から十分な情報を抽出できない。 さらに、教師なしのメソッドは通常、手順をより複雑にする2ステップまたは追加のインプットを使用しようとする。 本稿では,ds-mvsnet を提案する。これは,ソース深度合成を伴うエンドツーエンドの教師なしmvs構造である。 確率ボリュームの情報をマイニングするために,ソースビューに対して確率ボリュームと深さ仮説をスプラッタ化し,ソース深度を創造的に合成する。 一方,適応ガウスサンプリング法と適応ビンサンプリング法を提案し,奥行き仮説の精度を向上させる。 一方,ソース深度を利用して参照画像を描画し,奥行きの整合性損失と深さの滑らかさ損失を提案する。 これらは、追加入力なしで異なるビューにおける測光的および幾何学的整合性に応じて追加のガイダンスを提供することができる。 最後に、DTUデータセットとTurps & Templesデータセットに関する一連の実験を行い、DS-MVSNetの効率性とロバスト性を最先端の手法と比較した。

関連論文リスト

• Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
  3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。 これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。 本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:18:30Z)
• Learning Deformable Hypothesis Sampling for Accurate PatchMatch Multi-View Stereo [4.6332064055042865]
  本稿では,雑音深度推定の課題に対処するために,学習可能な変形可能な仮説サンプリング(DeformSampler)を提案する。 そこで我々はDeformSamplerを開発し,空間の分布に敏感なサンプル空間を学習し,シーンの形状に整合した深さを伝搬する。 我々はDeformSamplerを学習可能なPatchMatch MVSシステムに統合し、挑戦領域における深さ推定を強化する。
  論文  参考訳（メタデータ） (2023-12-26T09:36:21Z)
• Monocular Visual-Inertial Depth Estimation [66.71452943981558]
  単眼深度推定と視覚慣性計測を統合した視覚慣性深度推定パイプラインを提案する。 提案手法は, 疎度度に対する大域的スケールとシフトアライメントを行い, 続いて学習に基づく高密度アライメントを行う。 本研究では,TartanAir と VOID のデータセットを用いて,密集したスケールアライメントによるRMSE の最大30%の削減を観測した。
  論文  参考訳（メタデータ） (2023-03-21T18:47:34Z)
• RA-Depth: Resolution Adaptive Self-Supervised Monocular Depth Estimation [27.679479140943503]
  本研究では,シーン深さのスケール不変性を学習し,自己教師付き単眼深度推定法(RA-Depth)を提案する。 RA-Depthは最先端の性能を達成し、解像度適応の優れた能力を示す。
  論文  参考訳（メタデータ） (2022-07-25T08:49:59Z)
• Non-parametric Depth Distribution Modelling based Depth Inference for Multi-view Stereo [43.415242967722804]
  最近のコストボリュームピラミッドに基づくディープニューラルネットワークは、多視点ステレオからの深度推論に高解像度の画像を効率的に活用する可能性を解き放った。 一般に、これらのアプローチは各ピクセルの深さが一様分布に従うと仮定する。 本研究では,非パラメトリック深度分布モデルを用いて,一様および多モード分布の画素を扱うコストボリュームを構築することを提案する。
  論文  参考訳（メタデータ） (2022-05-08T05:13:04Z)
• Improving Monocular Visual Odometry Using Learned Depth [84.05081552443693]
  単眼深度推定を応用して視力計測(VO)を改善する枠組みを提案する。 我々のフレームワークの中核は、多様なシーンに対して強力な一般化能力を持つ単眼深度推定モジュールである。 現在の学習型VO法と比較して,本手法は多様なシーンに対してより強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-04-04T06:26:46Z)
• DDL-MVS: Depth Discontinuity Learning for MVS Networks [0.5735035463793007]
  本稿では,MVS法における深度不連続学習を提案する。 当社のアイデアを検証し,既存の学習ベースのMVSパイプラインに戦略を組み込むことが可能であることを実証する。
  論文  参考訳（メタデータ） (2022-03-02T20:25:31Z)
• Uncertainty-Aware Deep Multi-View Photometric Stereo [100.97116470055273]
  光度ステレオ(PS)は高周波表面の細部を復元するのに優れ、マルチビューステレオ(MVS)はPSによる低周波歪みを除去し、大域的な形状を維持するのに役立つ。 本稿では,PS と MVS の相補的強みを効果的に活用する手法を提案する。 我々は,不確実性を考慮したディープPSネットワークとディープMVSネットワークを用いて,画素ごとの表面の正規度と深さを推定する。
  論文  参考訳（メタデータ） (2022-02-26T05:45:52Z)
• A Confidence-based Iterative Solver of Depths and Surface Normals for Deep Multi-view Stereo [41.527018997251744]
  本研究では,深度,表面正規度,視野ごとの信頼度を共同で予測する深層多視点ステレオ(MVS)システムを提案する。 我々のアプローチの鍵は、ビューごとの深度マップと正規写像に対して反復的に解決する新しい解法である。 提案手法は,従来型および深層学習に基づくMVSパイプラインの深部品質を継続的に向上する。
  論文  参考訳（メタデータ） (2022-01-19T14:08:45Z)
• 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
  3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。 私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。 本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
  論文  参考訳（メタデータ） (2021-12-01T00:52:42Z)
• An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
  カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。 正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T02:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。