論文の概要: TSAR-MVS: Textureless-aware Segmentation and Correlative Refinement Guided Multi-View Stereo
- arxiv url: http://arxiv.org/abs/2308.09990v3
- Date: Sun, 18 Aug 2024 08:06:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 04:26:45.166841
- Title: TSAR-MVS: Textureless-aware Segmentation and Correlative Refinement Guided Multi-View Stereo
- Title(参考訳): TSAR-MVS: テクスチャレス認識セグメンテーションと相関リファインメントガイドによるマルチビューステレオ
- Authors: Zhenlong Yuan, Jiakai Cao, Zhaoqi Wang, Zhaoxin Li,
- Abstract要約: テクスチャレス・アンド・コリレーティブ・リファインメント・ガイド付きマルチビューステレオ (TSAR-MVS) 法を提案する。
フィルター,精細化,セグメンテーションによる3次元再構成におけるテクスチャレス領域による課題を効果的に解決する。
ETH3D, Tanks & Temples および Strecha データセットの実験により,提案手法の優れた性能と強みが示された。
- 参考スコア(独自算出の注目度): 3.6728185343140685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The reconstruction of textureless areas has long been a challenging problem in MVS due to lack of reliable pixel correspondences between images. In this paper, we propose the Textureless-aware Segmentation And Correlative Refinement guided Multi-View Stereo (TSAR-MVS), a novel method that effectively tackles challenges posed by textureless areas in 3D reconstruction through filtering, refinement and segmentation. First, we implement the joint hypothesis filtering, a technique that merges a confidence estimator with a disparity discontinuity detector to eliminate incorrect depth estimations. Second, to spread the pixels with confident depth, we introduce an iterative correlation refinement strategy that leverages RANSAC to generate 3D planes based on superpixels, succeeded by a weighted median filter for broadening the influence of accurately determined pixels. Finally, we present a textureless-aware segmentation method that leverages edge detection and line detection for accurately identify large textureless regions for further depth completion. Experiments on ETH3D, Tanks & Temples and Strecha datasets demonstrate the superior performance and strong generalization capability of our proposed method.
- Abstract(参考訳): テクスチャレス領域の再構成は、画像間の信頼性の高い画素対応が欠如しているため、MVSでは長年、難しい問題であった。
本稿では, テクスチャレス領域による3次元再構成の課題を, フィルタリング, 精細化, セグメンテーションにより効果的に解決する, マルチビューステレオ(TSAR-MVS)を提案する。
まず,不均一不連続検出器と信頼度推定器を融合させて不正確な深度推定を除去する手法であるジョイント仮説フィルタリングを実装した。
第2に、自信を持って画素を拡大するために、RANSACを利用してスーパーピクセルをベースとした3次元平面を生成する反復的相関補正戦略を導入し、重み付き中央フィルタにより、正確に決定された画素の影響を拡大する。
最後に,エッジ検出と線検出を利用したテクスチャレス認識セグメンテーション手法を提案する。
ETH3D, Tanks & Temples および Strecha データセットの実験により,提案手法の優れた性能と強力な一般化能力が示された。
関連論文リスト
- Depth-aware Volume Attention for Texture-less Stereo Matching [67.46404479356896]
実用的な屋外シナリオにおけるテクスチャ劣化に対処する軽量なボリューム改善手法を提案する。
画像テクスチャの相対的階層を抽出し,地中深度マップによって教師される深度体積を導入する。
局所的な微細構造と文脈は、体積凝集時のあいまいさと冗長性を緩和するために強調される。
論文 参考訳(メタデータ) (2024-02-14T04:07:44Z) - SD-MVS: Segmentation-Driven Deformation Multi-View Stereo with Spherical
Refinement and EM optimization [6.886220026399106]
テクスチャレス領域の3次元再構成における課題を解決するために,多視点ステレオ (SD-MVS) を導入する。
私たちは、シーン内のセグメンテーションインスタンスを区別するためにSAM(Segment Anything Model)を採用した最初の人です。
球面座標と正規点の勾配勾配と深度の画素方向探索間隔を組み合わせた独自の精細化戦略を提案する。
論文 参考訳(メタデータ) (2024-01-12T05:25:57Z) - VoxelNextFusion: A Simple, Unified and Effective Voxel Fusion Framework
for Multi-Modal 3D Object Detection [33.46363259200292]
既存のボクセル法は、1対1で濃密な画像特徴を持つスパース・ボクセル特徴を融合する際の課題に直面する。
本稿では,VoxelNextFusionについて述べる。VoxelNextFusionは,Voxelベースの手法に特化して設計されたマルチモーダル3Dオブジェクト検出フレームワークである。
論文 参考訳(メタデータ) (2024-01-05T08:10:49Z) - RCDN -- Robust X-Corner Detection Algorithm based on Advanced CNN Model [3.580983453285039]
複数の干渉下で入力に対して高いサブピクセル精度を維持することができる新しい検出アルゴリズムを提案する。
アルゴリズム全体は粗い戦略を採用しており、Xコーン検出ネットワークと3つの後処理技術を含んでいる。
実画像および合成画像の評価は,提案アルゴリズムが他の一般的な手法よりも検出率,サブピクセル精度,ロバスト性が高いことを示す。
論文 参考訳(メタデータ) (2023-07-07T10:40:41Z) - Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。
まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。
本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
論文 参考訳(メタデータ) (2023-02-16T10:40:55Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - PAEDID: Patch Autoencoder Based Deep Image Decomposition For Pixel-level
Defective Region Segmentation [16.519583839906904]
欠陥領域分割のための非教師パッチオートエンコーダに基づくディープ画像分解法(PAEDID)を提案する。
パッチオートエンコーダ(PAE)ネットワークにより,より深い画像として共通の背景を学習する。
提案手法を採用することにより、画像中の欠陥領域を教師なしで正確に抽出することができる。
論文 参考訳(メタデータ) (2022-03-28T02:50:06Z) - PatchMVSNet: Patch-wise Unsupervised Multi-View Stereo for
Weakly-Textured Surface Reconstruction [2.9896482273918434]
本稿では,多視点画像の制約を活かしたロバストな損失関数を提案し,あいまいさを緩和する。
我々の戦略は任意の深さ推定フレームワークで実装することができ、任意の大規模MVSデータセットでトレーニングすることができる。
提案手法は,DTU,タンク・アンド・テンプル,ETH3Dなどの一般的なベンチマーク上での最先端手法の性能に達する。
論文 参考訳(メタデータ) (2022-03-04T07:05:23Z) - Towards Unpaired Depth Enhancement and Super-Resolution in the Wild [121.96527719530305]
最先端のデータ駆動による深度マップの超解像法は、同じシーンの低解像度と高解像度の深度マップの登録ペアに依存している。
未経験データからの学習に基づく深度マップの強化について考察する。
論文 参考訳(メタデータ) (2021-05-25T16:19:16Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳(メタデータ) (2021-04-20T05:43:44Z) - Light Field Reconstruction via Deep Adaptive Fusion of Hybrid Lenses [67.01164492518481]
本稿では,ハイブリットレンズを用いた高分解能光場(LF)画像の再構成問題について検討する。
本稿では,入力の特徴を包括的に活用できる新しいエンドツーエンド学習手法を提案する。
我々のフレームワークは、高解像度なLFデータ取得のコストを削減し、LFデータストレージと送信の恩恵を受ける可能性がある。
論文 参考訳(メタデータ) (2021-02-14T06:44:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。