論文の概要: Scene Prior Filtering for Depth Map Super-Resolution
- arxiv url: http://arxiv.org/abs/2402.13876v2
- Date: Fri, 23 Feb 2024 08:31:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 11:54:06.993840
- Title: Scene Prior Filtering for Depth Map Super-Resolution
- Title(参考訳): 超解像深度マップのためのシーン事前フィルタリング
- Authors: Zhengxue Wang and Zhiqiang Yan and Ming-Hsuan Yang and Jinshan Pan and
Jian Yang and Ying Tai and Guangwei Gao
- Abstract要約: テクスチャ干渉とエッジ不正確性を緩和するScene Prior Filtering Network(SPFNet)を導入する。
我々のSPFNetは、実データと合成データの両方で広範囲に評価され、最先端のパフォーマンスを実現しています。
- 参考スコア(独自算出の注目度): 102.18062150182644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal fusion is vital to the success of super-resolution of depth maps.
However, commonly used fusion strategies, such as addition and concatenation,
fall short of effectively bridging the modal gap. As a result, guided image
filtering methods have been introduced to mitigate this issue. Nevertheless, it
is observed that their filter kernels usually encounter significant texture
interference and edge inaccuracy. To tackle these two challenges, we introduce
a Scene Prior Filtering network, SPFNet, which utilizes the priors surface
normal and semantic map from large-scale models. Specifically, we design an
All-in-one Prior Propagation that computes the similarity between multi-modal
scene priors, i.e., RGB, normal, semantic, and depth, to reduce the texture
interference. In addition, we present a One-to-one Prior Embedding that
continuously embeds each single-modal prior into depth using Mutual Guided
Filtering, further alleviating the texture interference while enhancing edges.
Our SPFNet has been extensively evaluated on both real and synthetic datasets,
achieving state-of-the-art performance.
- Abstract(参考訳): マルチモーダル融合は深度マップの超解像の成功に不可欠である。
しかし、加法や連結といった一般的な融合戦略は、モーダルギャップを効果的に埋めるには不十分である。
その結果,この問題を軽減するため,ガイド画像フィルタリング手法が導入された。
それにもかかわらず、それらのフィルタカーネルは通常、重要なテクスチャ干渉とエッジ不正確さに遭遇する。
これら2つの課題に対処すべく,大規模モデルからの事前面正規化と意味マップを利用したシーン優先フィルタリングネットワークspfnetを導入する。
具体的には,マルチモーダルシーン,すなわちRGB,正規性,意味性,深さの類似性を計算し,テクスチャ干渉を低減するオールインワン優先伝搬を設計する。
さらに,Multual Guided Filtering を用いて,各単一モードの先行を連続的に奥行きに埋め込む1対1のプリエンベディングを提案し,エッジを拡大しながらテクスチャ干渉を緩和する。
我々のSPFNetは、実データと合成データの両方で広く評価され、最先端のパフォーマンスを実現しています。
関連論文リスト
- SRFNet: Monocular Depth Estimation with Fine-grained Structure via
Spatial Reliability-oriented Fusion of Frames and Events [6.519198915368201]
従来のフレームベースの手法は、ダイナミックレンジの制限と動きのぼかしによる性能低下に悩まされる。
最近の研究は、新しいイベントカメラを活用して、フレームイベントの特徴融合を通じてフレームのモダリティを補完またはガイドしている。
SRFNetは、昼と夜の両方で微細な構造で深度を推定できる。
論文 参考訳(メタデータ) (2023-09-22T12:59:39Z) - Pyramid Deep Fusion Network for Two-Hand Reconstruction from RGB-D
Images [7.056300633307507]
両手で高密度メッシュを復元するためのエンドツーエンドフレームワークを提案する。
我々のフレームワークはResNet50とPointNet++を使って、RGBとpoint cloudから機能を派生しています。
また,異なるスケールで特徴を集約する新しいピラミッド深層核融合ネットワーク (PDFNet) も導入した。
論文 参考訳(メタデータ) (2023-07-12T09:33:21Z) - Unpaired Overwater Image Defogging Using Prior Map Guided CycleGAN [60.257791714663725]
オーバーウォーターシーンで画像をデフォグするための先行マップガイドサイクロン (PG-CycleGAN) を提案する。
提案手法は,最先端の教師付き,半教師付き,非教師付きデグジングアプローチより優れている。
論文 参考訳(メタデータ) (2022-12-23T03:00:28Z) - MISF: Multi-level Interactive Siamese Filtering for High-Fidelity Image
Inpainting [35.79101039727397]
画像インペイントにおける画像レベルの予測フィルタリングの利点と課題について検討する。
カーネル予測分岐(KPB)とセマンティック・アンド・イメージ・フィルタリング分岐(SIFB)の2つの分岐を含む,MISF(Multilevel Interactive Siamese Filtering)と呼ばれる新しいフィルタリング手法を提案する。
提案手法は,4つの指標,すなわちL1,PSNR,SSIM,LPIPSにおいて,最先端のベースラインよりも優れる。
論文 参考訳(メタデータ) (2022-03-12T01:32:39Z) - Unsharp Mask Guided Filtering [53.14430987860308]
本論文の目的は,フィルタ中の構造伝達の重要性を強調した画像フィルタリングである。
アンシャープマスキングにインスパイアされたガイドフィルタの新しい簡易な定式化を提案する。
我々の定式化は低域フィルタに先立ってフィルタを楽しみ、単一の係数を推定することで明示的な構造伝達を可能にする。
論文 参考訳(メタデータ) (2021-06-02T19:15:34Z) - Boundary-induced and scene-aggregated network for monocular depth
prediction [20.358133522462513]
本稿では,1枚のRGB画像の深度を推定するための境界誘導・Scene-aggregated Network (BS-Net)を提案する。
NYUD v2データセットとxffthe iBims-1データセットに関するいくつかの実験結果は、提案手法の最先端性能を示している。
論文 参考訳(メタデータ) (2021-02-26T01:43:17Z) - NeuralFusion: Online Depth Fusion in Latent Space [77.59420353185355]
潜在特徴空間における深度マップアグリゲーションを学習する新しいオンライン深度マップ融合手法を提案する。
提案手法は,高騒音レベルを処理し,特に測光ステレオベース深度マップに共通する粗悪なアウトレージに対処できる。
論文 参考訳(メタデータ) (2020-11-30T13:50:59Z) - A Single Stream Network for Robust and Real-time RGB-D Salient Object
Detection [89.88222217065858]
我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。
このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
論文 参考訳(メタデータ) (2020-07-14T04:40:14Z) - Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。
この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。
我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
論文 参考訳(メタデータ) (2020-01-21T21:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。