論文の概要: MSP-MVS: Multi-Granularity Segmentation Prior Guided Multi-View Stereo
- arxiv url: http://arxiv.org/abs/2407.19323v4
- Date: Wed, 18 Dec 2024 09:28:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 13:24:23.401654
- Title: MSP-MVS: Multi-Granularity Segmentation Prior Guided Multi-View Stereo
- Title（参考訳）: MSP-MVS: ガイド付きマルチビューステレオ以前のマルチグラニュラリティセグメンテーション
- Authors: Zhenlong Yuan, Cong Liu, Fei Shen, Zhaoxin Li, Jinguo Luo, Tianlu Mao, Zhaoqi Wang,
- Abstract要約: MSP-MVSは,マルチグラニュラリティセグメンテーションを導入する手法である。
相関信頼画素の等価分布と分解クラスタリングを実装した。
また,グローバルな最小マッチングコストの特定を支援するために,差分サンプリングの相乗的3次元最適化も導入する。
- 参考スコア（独自算出の注目度）: 8.303396507129266
- License:
- Abstract: Recently, patch deformation-based methods have demonstrated significant strength in multi-view stereo by adaptively expanding the reception field of patches to help reconstruct textureless areas. However, such methods mainly concentrate on searching for pixels without matching ambiguity (i.e., reliable pixels) when constructing deformed patches, while neglecting the deformation instability caused by unexpected edge-skipping, resulting in potential matching distortions. Addressing this, we propose MSP-MVS, a method introducing multi-granularity segmentation prior for edge-confined patch deformation. Specifically, to avoid unexpected edge-skipping, we first aggregate and further refine multi-granularity depth edges gained from Semantic-SAM as prior to guide patch deformation within depth-continuous (i.e., homogeneous) areas. Moreover, to address attention imbalance caused by edge-confined patch deformation, we implement adaptive equidistribution and disassemble-clustering of correlative reliable pixels (i.e., anchors), thereby promoting attention-consistent patch deformation. Finally, to prevent deformed patches from falling into local-minimum matching costs caused by the fixed sampling pattern, we introduce disparity-sampling synergistic 3D optimization to help identify global-minimum matching costs. Evaluations on ETH3D and Tanks & Temples benchmarks prove our method obtains state-of-the-art performance with remarkable generalization.
- Abstract（参考訳）: 近年,パッチのレセプション場を適応的に拡張してテクスチャレス領域の再構築を支援することで,マルチビューステレオにおいて,パッチ変形に基づく手法が顕著な強度を示した。
しかし、このような手法は主に、変形したパッチを構成するときの曖昧さ(すなわち信頼性の高いピクセル)を一致させることなくピクセルの探索に集中する一方で、予期せぬエッジスキッピングによる変形不安定さを無視し、潜在的に一致した歪みをもたらす。
そこで本稿では,マルチグラニュラリティセグメンテーションを導入したMSP-MVSを提案する。
具体的には、予期せぬエッジスキッピングを避けるために、まずセマンティック・SAMから得られた多粒度深度エッジを集約し、さらに改良し、深さ連続(等質)領域におけるパッチ変形を導出する。
さらに,エッジ強調パッチ変形による注意不均衡に対処するため,相関信頼画素(アンカー)のアダプティブ均等化と分解クラスタリングを実施し,アダプティブ一貫性パッチ変形を促進させる。
最後に、固定サンプリングパターンによって生じる局所最小マッチングコストに変形パッチが陥るのを防止するために、グローバル最小マッチングコストの特定を支援するために、差分サンプリングの相乗的3次元最適化を導入する。
ETH3D と Tanks & Temples のベンチマークによる評価により,本手法は目覚ましい一般化を伴う最先端性能が得られることを示した。
関連論文リスト
- Dual-Level Precision Edges Guided Multi-View Stereo with Accurate Planarization [3.597821311597427]
低テクスチャ領域のマルチビューステレオ (MVS) 再構築が注目されている。
従来のMVSメソッドは、オブジェクト境界と限られた知覚範囲をまたぐような問題にしばしば遭遇する。
平面モデル構築のロバスト性を高めるため、細部および粗部を含む二段精度エッジ情報を導入する。
提案手法は,ETH3D と Tanks & Temples ベンチマークの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-12-29T02:54:01Z) - DVP-MVS: Synergize Depth-Edge and Visibility Prior for Multi-View Stereo [8.303396507129266]
そこで我々は,DVP-MVSを提案する。DVP-MVSは,より堅牢で可視性の高いパッチ変形に先立って,奥行き整合とクロスビューを相乗化できる。
本手法は, 頑健さと一般化性に優れ, 最先端の性能を実現することができる。
論文 参考訳（メタデータ） (2024-12-16T09:09:10Z) - A Recipe for Geometry-Aware 3D Mesh Transformers [2.0992612407358293]
本研究では, ノード数可変のパッチを収容するパッチレベルで, 特徴を埋め込む手法について検討する。
本研究は,1)一般的な3次元メッシュトランスフォーマにおける熱拡散による構造的および位置的埋め込みの重要性,2)学習の強化における測地的マスキングや機能的相互作用といった新しい要素の有効性,3)セグメント化と分類作業の課題における提案手法の優れた性能と効率性など,重要な知見を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-10-31T19:13:31Z) - SD-MVS: Segmentation-Driven Deformation Multi-View Stereo with Spherical
Refinement and EM optimization [6.886220026399106]
テクスチャレス領域の3次元再構成における課題を解決するために,多視点ステレオ (SD-MVS) を導入する。
私たちは、シーン内のセグメンテーションインスタンスを区別するためにSAM(Segment Anything Model)を採用した最初の人です。
球面座標と正規点の勾配勾配と深度の画素方向探索間隔を組み合わせた独自の精細化戦略を提案する。
論文 参考訳（メタデータ） (2024-01-12T05:25:57Z) - 360 Layout Estimation via Orthogonal Planes Disentanglement and Multi-view Geometric Consistency Perception [56.84921040837699]
既存のパノラマ配置推定ソリューションは、垂直圧縮されたシーケンスから部屋の境界を復元し、不正確な結果をもたらす傾向にある。
そこで本稿では,直交平面不整合ネットワーク(DOPNet)を提案し,あいまいな意味論を識別する。
また,水平深度と比表現に適した教師なし適応手法を提案する。
本手法は,単分子配置推定と多視点レイアウト推定の両タスクにおいて,他のSoTAモデルよりも優れる。
論文 参考訳（メタデータ） (2023-12-26T12:16:03Z) - MP-MVS: Multi-Scale Windows PatchMatch and Planar Prior Multi-View
Stereo [7.130834755320434]
レジリエントで効果的なマルチビューステレオアプローチ(MP-MVS)を提案する。
マルチスケールウィンドウPatchMatch (mPM) を設計し, 信頼性の高い非テクスチャ領域の深さを求める。
他のマルチスケールアプローチとは対照的に、より高速で、PatchMatchベースのMVSアプローチに容易に拡張できる。
論文 参考訳（メタデータ） (2023-09-23T07:30:42Z) - Improving Misaligned Multi-modality Image Fusion with One-stage
Progressive Dense Registration [67.23451452670282]
多モード画像間の相違は、画像融合の課題を引き起こす。
マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。
このスキームは、一段階最適化のみで粗大な登録を行う。
論文 参考訳（メタデータ） (2023-08-22T03:46:24Z) - Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。
まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。
本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
論文 参考訳（メタデータ） (2023-02-16T10:40:55Z) - DeViT: Deformed Vision Transformers in Video Inpainting [59.73019717323264]
Deformed Patch-based Homography (DePtH)を導入して、パッチアライメントによる以前のトランスフォーマーを拡張した。
第2に、パッチワイズ機能マッチングを改善するために、Mask Pruning-based Patch Attention (MPPA)を導入する。
第3に、時空間トークンに対する正確な注意を得るために、時空間重み付け適応器(STA)モジュールを導入する。
論文 参考訳（メタデータ） (2022-09-28T08:57:14Z) - A Model for Multi-View Residual Covariances based on Perspective
Deformation [88.21738020902411]
マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。
我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
論文 参考訳（メタデータ） (2022-02-01T21:21:56Z) - Out-of-Domain Human Mesh Reconstruction via Dynamic Bilevel Online
Adaptation [87.85851771425325]
我々は、人間のメッシュ再構成モデルをドメイン外ストリーミングビデオに適用する際の新しい問題を考える。
オンライン適応によってこの問題に対処し、テスト中のモデルのバイアスを徐々に修正します。
動的バイレベルオンライン適応アルゴリズム(DynaBOA)を提案する。
論文 参考訳（メタデータ） (2021-11-07T07:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。