論文の概要: DVP-MVS: Synergize Depth-Edge and Visibility Prior for Multi-View Stereo

• arxiv url: http://arxiv.org/abs/2412.11578v2
• Date: Sun, 16 Mar 2025 16:07:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:32:03.794542
• Title: DVP-MVS: Synergize Depth-Edge and Visibility Prior for Multi-View Stereo
• Title（参考訳）: DVP-MVS:マルチビューステレオに先立って深度エッジと可視性を同期する
• Authors: Zhenlong Yuan, Jinguo Luo, Fei Shen, Zhaoxin Li, Cong Liu, Tianlu Mao, Zhaoqi Wang,
• Abstract要約: そこで我々は,DVP-MVSを提案する。DVP-MVSは,より堅牢で可視性の高いパッチ変形に先立って,奥行き整合とクロスビューを相乗化できる。 本手法は, 頑健さと一般化性に優れ, 最先端の性能を実現することができる。
• 参考スコア（独自算出の注目度）: 8.303396507129266
• License:
• Abstract: Patch deformation-based methods have recently exhibited substantial effectiveness in multi-view stereo, due to the incorporation of deformable and expandable perception to reconstruct textureless areas. However, such approaches typically focus on exploring correlative reliable pixels to alleviate match ambiguity during patch deformation, but ignore the deformation instability caused by mistaken edge-skipping and visibility occlusion, leading to potential estimation deviation. To remedy the above issues, we propose DVP-MVS, which innovatively synergizes depth-edge aligned and cross-view prior for robust and visibility-aware patch deformation. Specifically, to avoid unexpected edge-skipping, we first utilize Depth Anything V2 followed by the Roberts operator to initialize coarse depth and edge maps respectively, both of which are further aligned through an erosion-dilation strategy to generate fine-grained homogeneous boundaries for guiding patch deformation. In addition, we reform view selection weights as visibility maps and restore visible areas by cross-view depth reprojection, then regard them as cross-view prior to facilitate visibility-aware patch deformation. Finally, we improve propagation and refinement with multi-view geometry consistency by introducing aggregated visible hemispherical normals based on view selection and local projection depth differences based on epipolar lines, respectively. Extensive evaluations on ETH3D and Tanks & Temples benchmarks demonstrate that our method can achieve state-of-the-art performance with excellent robustness and generalization.
• Abstract（参考訳）: マルチビューステレオでは, 変形可能な, 伸縮可能な知覚を取り入れてテクスチャレス領域を再構築するため, パッチ変形に基づく手法が有効である。 しかし、そのようなアプローチは一般的に、パッチ変形のあいまいさを緩和するために相関性のある信頼できるピクセルの探索に焦点をあてるが、エッジスキップと視認性閉塞による変形不安定さを無視し、潜在的な推定偏差をもたらす。 上記の課題を解決するために,DVP-MVSを提案する。DVP-MVSは,頑健で可視性に配慮したパッチ変形に先立って,奥行きの整合とクロスビューを革新的にシナジする。 具体的には、予期せぬエッジスキッピングを避けるために、まずDepth Anything V2を使い、続いてロバーツ作用素がそれぞれ粗い深さとエッジマップを初期化する。 さらに、視界選択重みを視界マップとして再構成し、視界深度再投影により可視領域を復元し、視界認識のパッチ変形を容易にするために、それらを視界横断的な視界とみなす。 最後に,多面的幾何整合性による伝搬と改善を,視線選択と局部投射深度差に基づく集合的半球正規を導入することにより改善する。 ETH3D と Tanks & Temples のベンチマークによる広範囲な評価により,本手法は高いロバスト性および一般化を達成できることを示す。

関連論文リスト

• MSP-MVS: Multi-Granularity Segmentation Prior Guided Multi-View Stereo [8.303396507129266]
  MSP-MVSは,マルチグラニュラリティセグメンテーションを導入する手法である。 相関信頼画素の等価分布と分解クラスタリングを実装した。 また,グローバルな最小マッチングコストの特定を支援するために,差分サンプリングの相乗的3次元最適化も導入する。
  論文  参考訳（メタデータ） (2024-07-27T19:00:44Z)
• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• SD-MVS: Segmentation-Driven Deformation Multi-View Stereo with Spherical Refinement and EM optimization [6.886220026399106]
  テクスチャレス領域の3次元再構成における課題を解決するために,多視点ステレオ (SD-MVS) を導入する。 私たちは、シーン内のセグメンテーションインスタンスを区別するためにSAM(Segment Anything Model)を採用した最初の人です。 球面座標と正規点の勾配勾配と深度の画素方向探索間隔を組み合わせた独自の精細化戦略を提案する。
  論文  参考訳（メタデータ） (2024-01-12T05:25:57Z)
• 360 Layout Estimation via Orthogonal Planes Disentanglement and Multi-view Geometric Consistency Perception [56.84921040837699]
  既存のパノラマ配置推定ソリューションは、垂直圧縮されたシーケンスから部屋の境界を復元し、不正確な結果をもたらす傾向にある。 そこで本稿では,直交平面不整合ネットワーク(DOPNet)を提案し,あいまいな意味論を識別する。 また,水平深度と比表現に適した教師なし適応手法を提案する。 本手法は,単分子配置推定と多視点レイアウト推定の両タスクにおいて,他のSoTAモデルよりも優れる。
  論文  参考訳（メタデータ） (2023-12-26T12:16:03Z)
• View Consistent Purification for Accurate Cross-View Localization [59.48131378244399]
  本稿では,屋外ロボットのための微細な自己局在化手法を提案する。 提案手法は,既存のクロスビューローカライゼーション手法の限界に対処する。 これは、動的環境における知覚を増強する初めての疎視のみの手法である。
  論文  参考訳（メタデータ） (2023-08-16T02:51:52Z)
• Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
  GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。 GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。 BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
  論文  参考訳（メタデータ） (2023-04-06T14:33:05Z)
• On Robust Cross-View Consistency in Self-Supervised Monocular Depth Estimation [56.97699793236174]
  本論文では,2種類の堅牢なクロスビュー整合性について検討する。 深度特徴空間と3次元ボクセル空間の時間的コヒーレンスを自己教師付き単眼深度推定に利用した。 いくつかのアウトドアベンチマークの実験結果から,本手法は最先端技術より優れていることが示された。
  論文  参考訳（メタデータ） (2022-09-19T03:46:13Z)
• PatchMVSNet: Patch-wise Unsupervised Multi-View Stereo for Weakly-Textured Surface Reconstruction [2.9896482273918434]
  本稿では,多視点画像の制約を活かしたロバストな損失関数を提案し,あいまいさを緩和する。 我々の戦略は任意の深さ推定フレームワークで実装することができ、任意の大規模MVSデータセットでトレーニングすることができる。 提案手法は,DTU,タンク・アンド・テンプル,ETH3Dなどの一般的なベンチマーク上での最先端手法の性能に達する。
  論文  参考訳（メタデータ） (2022-03-04T07:05:23Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。