論文の概要: Scene Prior Filtering for Depth Super-Resolution

• arxiv url: http://arxiv.org/abs/2402.13876v3
• Date: Fri, 18 Oct 2024 05:04:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 18:13:45.289515
• Title: Scene Prior Filtering for Depth Super-Resolution
• Title（参考訳）: 深部超解像のためのシーン前処理
• Authors: Zhengxue Wang, Zhiqiang Yan, Ming-Hsuan Yang, Jinshan Pan, Guangwei Gao, Ying Tai, Jian Yang,
• Abstract要約: テクスチャ干渉とエッジ不正確性を緩和するScene Prior Filtering Network(SPFNet)を導入する。 我々のSPFNetは、実データと合成データの両方で広範囲に評価され、最先端のパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 97.30137398361823
• License:
• Abstract: Multi-modal fusion is vital to the success of super-resolution of depth maps. However, commonly used fusion strategies, such as addition and concatenation, fall short of effectively bridging the modal gap. As a result, guided image filtering methods have been introduced to mitigate this issue. Nevertheless, it is observed that their filter kernels usually encounter significant texture interference and edge inaccuracy. To tackle these two challenges, we introduce a Scene Prior Filtering network, SPFNet, which utilizes the priors surface normal and semantic map from large-scale models. Specifically, we design an All-in-one Prior Propagation that computes the similarity between multi-modal scene priors, i.e., RGB, normal, semantic, and depth, to reduce the texture interference. In addition, we present a One-to-one Prior Embedding that continuously embeds each single-modal prior into depth using Mutual Guided Filtering, further alleviating the texture interference while enhancing edges. Our SPFNet has been extensively evaluated on both real and synthetic datasets, achieving state-of-the-art performance.
• Abstract（参考訳）: マルチモーダル融合は深度マップの超解像の成功に不可欠である。 しかし、加法や連結といった一般的な融合戦略は、モーダルギャップを効果的に埋めるには不十分である。 その結果、この問題を軽減するためにガイド付き画像フィルタリング法が導入された。 それにもかかわらず、それらのフィルタカーネルは通常、重要なテクスチャ干渉とエッジ不正確さに遭遇する。 これら2つの課題に対処するために,大規模モデルからの事前サーフェス正規化とセマンティックマップを利用するScene Prior Filtering Network(SPFNet)を導入する。 具体的には,マルチモーダルシーン,すなわちRGB,正規性,意味性,深さの類似性を計算し,テクスチャ干渉を低減するオールインワン優先伝搬を設計する。 さらに,Multual Guided Filtering を用いて,各単一モードの先行を連続的に奥行きに埋め込む1対1のプリエンベディングを提案し,エッジを拡大しながらテクスチャ干渉を緩和する。 我々のSPFNetは、実データと合成データの両方で広範囲に評価され、最先端のパフォーマンスを実現しています。

関連論文リスト

• The Devil is in the Edges: Monocular Depth Estimation with Edge-aware Consistency Fusion [30.03608191629917]
  本稿では,高品質な単分子深度を鮮明なエッジで推定し,単一のRGB画像から全体構造を検証し,新しい単分子深度推定手法 ECFNet を提案する。 我々は,MDEネットワークのエッジ深度推定に影響を及ぼす重要な要因について徹底的な調査を行い,エッジ情報自体が深度予測において重要な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2024-03-30T13:58:19Z)
• Bilateral Propagation Network for Depth Completion [41.163328523175466]
  深度補正は,色画像の同期による疎深度測定から高密度深度マップを導出することを目的としている。 現在の最先端技術(SOTA)法は主に伝播に基づく手法であり、初期推定密度深さの反復精製として機能する。 本稿では, スパースデータの直接結合を避けるために, 早期に深度を伝播するバイラテラル伝搬ネットワーク(BP-Net)を提案する。
  論文  参考訳（メタデータ） (2024-03-17T16:48:46Z)
• SRFNet: Monocular Depth Estimation with Fine-grained Structure via Spatial Reliability-oriented Fusion of Frames and Events [5.800516204046145]
  従来のフレームベースの手法は、ダイナミックレンジの制限と動きのぼかしによる性能低下に悩まされる。 最近の研究は、新しいイベントカメラを活用して、フレームイベントの特徴融合を通じてフレームのモダリティを補完またはガイドしている。 SRFNetは、昼と夜の両方で微細な構造で深度を推定できる。
  論文  参考訳（メタデータ） (2023-09-22T12:59:39Z)
• Pyramid Deep Fusion Network for Two-Hand Reconstruction from RGB-D Images [11.100398985633754]
  両手で高密度メッシュを復元するためのエンドツーエンドフレームワークを提案する。 我々のフレームワークはResNet50とPointNet++を使って、RGBとpoint cloudから機能を派生しています。 また,異なるスケールで特徴を集約する新しいピラミッド深層核融合ネットワーク (PDFNet) も導入した。
  論文  参考訳（メタデータ） (2023-07-12T09:33:21Z)
• Unpaired Overwater Image Defogging Using Prior Map Guided CycleGAN [60.257791714663725]
  オーバーウォーターシーンで画像をデフォグするための先行マップガイドサイクロン (PG-CycleGAN) を提案する。 提案手法は,最先端の教師付き,半教師付き,非教師付きデグジングアプローチより優れている。
  論文  参考訳（メタデータ） (2022-12-23T03:00:28Z)
• Deep Model-Based Super-Resolution with Non-uniform Blur [1.7188280334580197]
  非一様ぼかしを持つ超解像の最先端手法を提案する。 まず,線形化ADMM分割手法に基づく高速なプラグアンドプレイアルゴリズムを提案する。 反復アルゴリズムをひとつのネットワークに展開し、エンドツーエンドでトレーニングします。
  論文  参考訳（メタデータ） (2022-04-21T13:57:21Z)
• Unsharp Mask Guided Filtering [53.14430987860308]
  本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。 アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。 我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
  論文  参考訳（メタデータ） (2021-06-02T19:15:34Z)
• NeuralFusion: Online Depth Fusion in Latent Space [77.59420353185355]
  潜在特徴空間における深度マップアグリゲーションを学習する新しいオンライン深度マップ融合手法を提案する。 提案手法は,高騒音レベルを処理し,特に測光ステレオベース深度マップに共通する粗悪なアウトレージに対処できる。
  論文  参考訳（メタデータ） (2020-11-30T13:50:59Z)
• A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection [89.88222217065858]
  我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。 このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
  論文  参考訳（メタデータ） (2020-07-14T04:40:14Z)
• Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
  近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。 この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。 我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
  論文  参考訳（メタデータ） (2020-01-21T21:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。