Fugu-MT 論文翻訳(概要): Learning Deformable Hypothesis Sampling for Accurate PatchMatch Multi-View Stereo

論文の概要: Learning Deformable Hypothesis Sampling for Accurate PatchMatch Multi-View Stereo

arxiv url: http://arxiv.org/abs/2312.15970v1
Date: Tue, 26 Dec 2023 09:36:21 GMT
ステータス: 処理完了
システム内更新日: 2023-12-27 15:35:02.108419
Title: Learning Deformable Hypothesis Sampling for Accurate PatchMatch Multi-View Stereo
Title（参考訳）: 正確なパッチマッチ・マルチビューステレオのための学習変形可能な仮説サンプリング
Authors: Hongjie Li, Yao Guo, Xianwei Zheng, Hanjiang Xiong
Abstract要約: 本稿では,雑音深度推定の課題に対処するために,学習可能な変形可能な仮説サンプリング(DeformSampler)を提案する。そこで我々はDeformSamplerを開発し,空間の分布に敏感なサンプル空間を学習し,シーンの形状に整合した深さを伝搬する。我々はDeformSamplerを学習可能なPatchMatch MVSシステムに統合し、挑戦領域における深さ推定を強化する。
参考スコア（独自算出の注目度）: 4.6332064055042865
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper introduces a learnable Deformable Hypothesis Sampler (DeformSampler) to address the challenging issue of noisy depth estimation for accurate PatchMatch Multi-View Stereo (MVS). We observe that the heuristic depth hypothesis sampling modes employed by PatchMatch MVS solvers are insensitive to (i) the piece-wise smooth distribution of depths across the object surface, and (ii) the implicit multi-modal distribution of depth prediction probabilities along the ray direction on the surface points. Accordingly, we develop DeformSampler to learn distribution-sensitive sample spaces to (i) propagate depths consistent with the scene's geometry across the object surface, and (ii) fit a Laplace Mixture model that approaches the point-wise probabilities distribution of the actual depths along the ray direction. We integrate DeformSampler into a learnable PatchMatch MVS system to enhance depth estimation in challenging areas, such as piece-wise discontinuous surface boundaries and weakly-textured regions. Experimental results on DTU and Tanks \& Temples datasets demonstrate its superior performance and generalization capabilities compared to state-of-the-art competitors. Code is available at https://github.com/Geo-Tell/DS-PMNet.
Abstract（参考訳）: 本稿では,PatchMatch Multi-View Stereo (MVS) における雑音深度推定の課題を解決するために,学習可能な変形可能な仮説サンプリング(DeformSampler)を提案する。 PatchMatch MVSソルバが用いたヒューリスティックな深度仮説サンプリングモードは無神経であることが観察された。 (i)被写体表面の深さの区分的な滑らかな分布、及び (ii)表面点の線方向に沿った深さ予測確率の暗黙的マルチモーダル分布。そこで,分布に敏感なサンプル空間を学習するためのDeformSamplerを開発した。 (i)被写体表面を横切るシーンの形状と一致した深さを伝播させ、 (II) 線方向に沿った実際の深さの点方向確率分布にアプローチするラプラス混合モデルに適合する。我々はDeformSamplerを学習可能なPatchMatch MVSシステムに統合し、断片的不連続表面境界や弱いテクスチャ領域などの課題領域における深さ推定を強化する。 dtu と tanks \& temple データセットの実験結果は、最先端の競合製品と比較して優れた性能と一般化能力を示している。コードはhttps://github.com/Geo-Tell/DS-PMNetで入手できる。

関連論文リスト

DepthSplat: Connecting Gaussian Splatting and Depth [90.06180236292866]
ガウススプラッティングと深さ推定を結合するDepthSplatを提案する。まず,事前学習した単眼深度特徴を生かして,頑健な多眼深度モデルを提案する。また,ガウス的スプラッティングは教師なし事前学習の目的として機能することを示す。
論文参考訳（メタデータ） (2024-10-17T17:59:58Z)
Depth-aware Volume Attention for Texture-less Stereo Matching [67.46404479356896]
実用的な屋外シナリオにおけるテクスチャ劣化に対処する軽量なボリューム改善手法を提案する。画像テクスチャの相対的階層を抽出し,地中深度マップによって教師される深度体積を導入する。局所的な微細構造と文脈は、体積凝集時のあいまいさと冗長性を緩和するために強調される。
論文参考訳（メタデータ） (2024-02-14T04:07:44Z)
V-FUSE: Volumetric Depth Map Fusion with Long-Range Constraints [6.7197802356130465]
本稿では,Multi-View Stereo(MVS)アルゴリズムによって生成された深度マップと信頼マップのセットを入力として受け入れ,改良する学習ベースの深度マップ融合フレームワークを提案する。また、各線に沿った深度仮説探索空間を減らすために、より大きな融合サブネットワークと共に訓練された深度探索ウィンドウ推定サブネットワークを導入する。本手法は,データから直接,深度コンセンサスと可視性制約の違反をモデル化することを学ぶ。
論文参考訳（メタデータ） (2023-08-17T00:39:56Z)
ProbVLM: Probabilistic Adapter for Frozen Vision-Language Models [69.50316788263433]
本稿では,事前学習された視覚言語モデルの埋め込みに対する確率分布を推定する確率的アダプタProbVLMを提案する。本稿では,検索タスクにおける不確実性埋め込みのキャリブレーションを定量化し,ProbVLMが他の手法よりも優れていることを示す。本稿では,大規模な事前学習型潜伏拡散モデルを用いて,埋め込み分布を可視化する新しい手法を提案する。
論文参考訳（メタデータ） (2023-07-01T18:16:06Z)
HSurf-Net: Normal Estimation for 3D Point Clouds by Learning Hyper Surfaces [54.77683371400133]
本稿では,ノイズと密度の変動のある点群から正規性を正確に予測できるHSurf-Netという新しい正規推定手法を提案する。実験結果から, HSurf-Netは, 合成形状データセット上での最先端性能を実現することがわかった。
論文参考訳（メタデータ） (2022-10-13T16:39:53Z)
DS-MVSNet: Unsupervised Multi-view Stereo via Depth Synthesis [11.346448410152844]
本稿では,DS-MVSNetを提案する。DS-MVSNetは,ソース深度合成を備えたエンドツーエンドの教師なしMVS構造である。確率体積の情報をマイニングするために、確率体積と深度仮説をソースビューにスプラッターすることで、ソース深度を創造的に合成する。一方,ソース深度を利用して参照画像を描画し,奥行きの整合性損失と深さの滑らかさ損失を提案する。
論文参考訳（メタデータ） (2022-08-13T15:25:51Z)
Non-parametric Depth Distribution Modelling based Depth Inference for Multi-view Stereo [43.415242967722804]
最近のコストボリュームピラミッドに基づくディープニューラルネットワークは、多視点ステレオからの深度推論に高解像度の画像を効率的に活用する可能性を解き放った。一般に、これらのアプローチは各ピクセルの深さが一様分布に従うと仮定する。本研究では,非パラメトリック深度分布モデルを用いて,一様および多モード分布の画素を扱うコストボリュームを構築することを提案する。
論文参考訳（メタデータ） (2022-05-08T05:13:04Z)
A Confidence-based Iterative Solver of Depths and Surface Normals for Deep Multi-view Stereo [41.527018997251744]
本研究では,深度,表面正規度,視野ごとの信頼度を共同で予測する深層多視点ステレオ(MVS)システムを提案する。我々のアプローチの鍵は、ビューごとの深度マップと正規写像に対して反復的に解決する新しい解法である。提案手法は,従来型および深層学習に基づくMVSパイプラインの深部品質を継続的に向上する。
論文参考訳（メタデータ） (2022-01-19T14:08:45Z)
SurfEmb: Dense and Continuous Correspondence Distributions for Object Pose Estimation with Learnt Surface Embeddings [2.534402217750793]
データから物体表面上の密度の連続した2D-3D対応分布を学習する手法を提案する。また,学習した分布を用いた剛体物体の6次元ポーズ推定手法を提案する。
論文参考訳（メタデータ） (2021-11-26T13:39:38Z)
SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
論文参考訳（メタデータ） (2021-04-08T16:15:46Z)
PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization [64.39761523935613]
本稿では,画像中の異常を同時検出・ローカライズするPatch Distribution Modeling, PaDiMを提案する。 PaDiMは、パッチの埋め込みに事前訓練された畳み込みニューラルネットワーク(CNN)を使用している。また、CNNの異なるセマンティックレベル間の相関を利用して、異常のローカライズも改善している。
論文参考訳（メタデータ） (2020-11-17T17:29:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。