論文の概要: SED-MVS: Segmentation-Driven and Edge-Aligned Deformation Multi-View Stereo with Depth Restoration and Occlusion Constraint
- arxiv url: http://arxiv.org/abs/2503.13721v1
- Date: Mon, 17 Mar 2025 21:07:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-19 14:16:21.265095
- Title: SED-MVS: Segmentation-Driven and Edge-Aligned Deformation Multi-View Stereo with Depth Restoration and Occlusion Constraint
- Title（参考訳）: SED-MVS:深部再生・閉塞拘束を有する分割駆動・エッジアライン変形多視点ステレオ
- Authors: Zhenlong Yuan, Zhidong Yang, Yujun Cai, Kuangxin Wu, Mufan Liu, Dapeng Zhang, Hao Jiang, Zhaoxin Li, Zhaoqi Wang,
- Abstract要約: SED-MVSは、セグメント化駆動およびエッジ整合のパッチ変形に対して、単光分割と多軌道拡散戦略を採用する。
具体的には、予想外のエッジスキッピングを防止するために、まず、パッチ変形をガイドするディープエッジガイダンスとしてSAM2を使用し、その後、パッチがディープエッジに包括的に整合していることを保証するマルチ軌道拡散戦略を用いる。
- 参考スコア（独自算出の注目度）: 11.165686149180054
- License:
- Abstract: Recently, patch-deformation methods have exhibited significant effectiveness in multi-view stereo owing to the deformable and expandable patches in reconstructing textureless areas. However, such methods primarily emphasize broadening the receptive field in textureless areas, while neglecting deformation instability caused by easily overlooked edge-skipping, potentially leading to matching distortions. To address this, we propose SED-MVS, which adopts panoptic segmentation and multi-trajectory diffusion strategy for segmentation-driven and edge-aligned patch deformation. Specifically, to prevent unanticipated edge-skipping, we first employ SAM2 for panoptic segmentation as depth-edge guidance to guide patch deformation, followed by multi-trajectory diffusion strategy to ensure patches are comprehensively aligned with depth edges. Moreover, to avoid potential inaccuracy of random initialization, we combine both sparse points from LoFTR and monocular depth map from DepthAnything V2 to restore reliable and realistic depth map for initialization and supervised guidance. Finally, we integrate segmentation image with monocular depth map to exploit inter-instance occlusion relationship, then further regard them as occlusion map to implement two distinct edge constraint, thereby facilitating occlusion-aware patch deformation. Extensive results on ETH3D, Tanks & Temples, BlendedMVS and Strecha datasets validate the state-of-the-art performance and robust generalization capability of our proposed method.
- Abstract（参考訳）: 近年, テクスチャレス領域の再構築において, 変形性, 拡張性を有するパッチにより, マルチビューステレオにおいて, パッチ・デフォーメーション法が有意な効果を示した。
しかし、このような手法は主に、見落としやすいエッジスキッピングによる変形不安定性を無視しながら、テクスチャレス領域における受容場を拡大することを強調する。
そこで我々はSED-MVSを提案する。SED-MVSは分割駆動およびエッジアライメントのパッチ変形に対して、単視分割と多軌道拡散戦略を採用する。
具体的には、予想外のエッジスキッピングを防止するために、まず、パッチ変形をガイドするディープエッジガイダンスとしてSAM2を使用し、その後、パッチがディープエッジに包括的に整合していることを保証するマルチ軌道拡散戦略を用いる。
さらに、ランダム初期化の潜在的な不正確さを避けるため、LoFTRのスパース点とDepthAnything V2のモノクロ深度マップを組み合わせ、初期化と教師付きガイダンスのための信頼性と現実的な深度マップを復元する。
最後に, 分割画像とモノクロ深度マップを統合し, インスタンス間閉塞関係を利用して, さらに2つの異なるエッジ制約を実装したオクルージョンマップとみなし, オクルージョン対応のパッチ変形を容易にする。
ETH3D, Tanks & Temples, BlendedMVS, Strecha データセットの総合的な結果から, 提案手法の最先端性能と堅牢な一般化能力を検証した。
関連論文リスト
- DVP-MVS: Synergize Depth-Edge and Visibility Prior for Multi-View Stereo [8.303396507129266]
そこで我々は,DVP-MVSを提案する。DVP-MVSは,より堅牢で可視性の高いパッチ変形に先立って,奥行き整合とクロスビューを相乗化できる。
本手法は, 頑健さと一般化性に優れ, 最先端の性能を実現することができる。
論文 参考訳（メタデータ） (2024-12-16T09:09:10Z) - MSP-MVS: Multi-Granularity Segmentation Prior Guided Multi-View Stereo [8.303396507129266]
MSP-MVSは,マルチグラニュラリティセグメンテーションを導入する手法である。
相関信頼画素の等価分布と分解クラスタリングを実装した。
また,グローバルな最小マッチングコストの特定を支援するために,差分サンプリングの相乗的3次元最適化も導入する。
論文 参考訳（メタデータ） (2024-07-27T19:00:44Z) - GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。
提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
論文 参考訳（メタデータ） (2024-05-17T07:31:20Z) - 360 Layout Estimation via Orthogonal Planes Disentanglement and Multi-view Geometric Consistency Perception [56.84921040837699]
既存のパノラマ配置推定ソリューションは、垂直圧縮されたシーケンスから部屋の境界を復元し、不正確な結果をもたらす傾向にある。
そこで本稿では,直交平面不整合ネットワーク(DOPNet)を提案し,あいまいな意味論を識別する。
また,水平深度と比表現に適した教師なし適応手法を提案する。
本手法は,単分子配置推定と多視点レイアウト推定の両タスクにおいて,他のSoTAモデルよりも優れる。
論文 参考訳（メタデータ） (2023-12-26T12:16:03Z) - TSAR-MVS: Textureless-aware Segmentation and Correlative Refinement Guided Multi-View Stereo [3.6728185343140685]
テクスチャレス・アンド・コリレーティブ・リファインメント・ガイド付きマルチビューステレオ (TSAR-MVS) 法を提案する。
フィルター,精細化,セグメンテーションによる3次元再構成におけるテクスチャレス領域による課題を効果的に解決する。
ETH3D, Tanks & Temples および Strecha データセットの実験により,提案手法の優れた性能と強みが示された。
論文 参考訳（メタデータ） (2023-08-19T11:40:57Z) - Rethinking Disparity: A Depth Range Free Multi-View Stereo Based on
Disparity [17.98608948955211]
既存の学習ベースのマルチビューステレオ(MVS)手法は、3Dコストボリュームを構築するために深さ範囲に依存している。
本稿では,DipMVSと呼ばれるエピポーラ分散フロー(E-flow)に基づく分散型MVS法を提案する。
本研究では、DipMVSは深さ範囲に敏感ではなく、GPUメモリを低くすることで最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2022-11-30T11:05:02Z) - On Robust Cross-View Consistency in Self-Supervised Monocular Depth Estimation [56.97699793236174]
本論文では,2種類の堅牢なクロスビュー整合性について検討する。
深度特徴空間と3次元ボクセル空間の時間的コヒーレンスを自己教師付き単眼深度推定に利用した。
いくつかのアウトドアベンチマークの実験結果から,本手法は最先端技術より優れていることが示された。
論文 参考訳（メタデータ） (2022-09-19T03:46:13Z) - PC-GANs: Progressive Compensation Generative Adversarial Networks for
Pan-sharpening [50.943080184828524]
空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。
モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
論文 参考訳（メタデータ） (2022-07-29T03:09:21Z) - PatchMVSNet: Patch-wise Unsupervised Multi-View Stereo for
Weakly-Textured Surface Reconstruction [2.9896482273918434]
本稿では,多視点画像の制約を活かしたロバストな損失関数を提案し,あいまいさを緩和する。
我々の戦略は任意の深さ推定フレームワークで実装することができ、任意の大規模MVSデータセットでトレーニングすることができる。
提案手法は,DTU,タンク・アンド・テンプル,ETH3Dなどの一般的なベンチマーク上での最先端手法の性能に達する。
論文 参考訳（メタデータ） (2022-03-04T07:05:23Z) - Light Field Reconstruction via Deep Adaptive Fusion of Hybrid Lenses [67.01164492518481]
本稿では,ハイブリットレンズを用いた高分解能光場(LF)画像の再構成問題について検討する。
本稿では,入力の特徴を包括的に活用できる新しいエンドツーエンド学習手法を提案する。
我々のフレームワークは、高解像度なLFデータ取得のコストを削減し、LFデータストレージと送信の恩恵を受ける可能性がある。
論文 参考訳（メタデータ） (2021-02-14T06:44:47Z) - Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。
本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。
複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
論文 参考訳（メタデータ） (2020-03-31T22:38:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。