論文の概要: S2ML: Spatio-Spectral Mutual Learning for Depth Completion

• arxiv url: http://arxiv.org/abs/2511.06033v1
• Date: Sat, 08 Nov 2025 15:01:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.718359
• Title: S2ML: Spatio-Spectral Mutual Learning for Depth Completion
• Title（参考訳）: S2ML: 深度補完のための空間スペクトル相互学習
• Authors: Zihui Zhao, Yifei Zhang, Zheng Wang, Yang Li, Kui Jiang, Zihan Geng, Chia-Wen Lin,
• Abstract要約: RGB-Dカメラで撮影した生深度画像は、弱い反射、境界影、アーティファクトによって不完全な深度値に悩まされることが多い。 既存の手法では、画像領域の深度補完によってこの問題に対処するが、それらは生の深度画像の物理的特性を見落としている。 本研究では,空間領域と周波数領域の両方の利点を両立させるため,S2ML(Spatio-Spectral Mutual Learning framework)を提案する。
• 参考スコア（独自算出の注目度）: 56.26679539288063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The raw depth images captured by RGB-D cameras using Time-of-Flight (TOF) or structured light often suffer from incomplete depth values due to weak reflections, boundary shadows, and artifacts, which limit their applications in downstream vision tasks. Existing methods address this problem through depth completion in the image domain, but they overlook the physical characteristics of raw depth images. It has been observed that the presence of invalid depth areas alters the frequency distribution pattern. In this work, we propose a Spatio-Spectral Mutual Learning framework (S2ML) to harmonize the advantages of both spatial and frequency domains for depth completion. Specifically, we consider the distinct properties of amplitude and phase spectra and devise a dedicated spectral fusion module. Meanwhile, the local and global correlations between spatial-domain and frequency-domain features are calculated in a unified embedding space. The gradual mutual representation and refinement encourage the network to fully explore complementary physical characteristics and priors for more accurate depth completion. Extensive experiments demonstrate the effectiveness of our proposed S2ML method, outperforming the state-of-the-art method CFormer by 0.828 dB and 0.834 dB on the NYU-Depth V2 and SUN RGB-D datasets, respectively.
• Abstract（参考訳）: Time-of-Flight (TOF) や構造化光を用いてRGB-Dカメラが撮影した生の深度画像は、しばしば弱い反射、境界影、アーティファクトによって不完全な深度値に悩まされ、下流の視覚タスクでの応用を制限する。 既存の手法では、画像領域の深度補完によってこの問題に対処するが、それらは生の深度画像の物理的特性を見落としている。 無効深度領域の存在が周波数分布パターンを変化させることが観察されている。 本研究では,空間領域と周波数領域の両方の利点を両立させるため,S2ML(Spatio-Spectral Mutual Learning framework)を提案する。 具体的には、振幅と位相スペクトルの異なる性質を考察し、専用のスペクトル融合モジュールを考案する。 一方、空間領域と周波数領域の特徴の局所的および大域的相関は、一体化された埋め込み空間で計算される。 漸進的な相互表現と改良により、ネットワークは補完的な物理的特性とより正確な深度完了の事前を十分に探求することを奨励する。 実験により,提案手法の有効性を実証し,NYU-Depth V2およびSUN RGB-Dデータセット上で,最先端のCFormerを0.828dB,0.834dBで比較した。

関連論文リスト

• DepthMatch: Semi-Supervised RGB-D Scene Parsing through Depth-Guided Regularization [43.974708665104565]
  本稿では,RGB-Dシーン解析に特化して設計された半教師付き学習フレームワークDepthMatchを紹介する。 本稿では,RGB-D画像対におけるテクスチャと空間的特徴の潜伏関係を明らかにするために,補間パッチ混在拡大法を提案する。 また,従来の複合核融合モジュールを代替する軽量空間先行インジェクタを設計し,不均一な特徴核融合の効率を向上する。
  論文  参考訳（メタデータ） (2025-05-26T14:26:31Z)
• FUSION: Frequency-guided Underwater Spatial Image recOnstructioN [0.0]
  水中画像は、色歪み、可視性低下、波長依存性の減衰と散乱による構造的詳細の喪失など、深刻な劣化に悩まされている。 既存の拡張手法は主に空間領域処理に重点を置いており、グローバルな色分布と長距離依存を捉える周波数領域の可能性を無視している。 本稿では,空間領域情報と周波数領域情報を併用した2領域深層学習フレームワーク「フュージョン」を提案する。
  論文  参考訳（メタデータ） (2025-04-01T23:16:19Z)
• Adaptive Stereo Depth Estimation with Multi-Spectral Images Across All Lighting Conditions [58.88917836512819]
  本稿では,立体深度推定を取り入れた新しいフレームワークを提案し,正確な幾何学的制約を強制する。 照明の劣化がステレオマッチングに与える影響を軽減するために,劣化マスキングを導入する。 提案手法は,Multi-Spectral Stereo(MS2)データセット上でのSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-11-06T03:30:46Z)
• SSIF: Learning Continuous Image Representation for Spatial-Spectral Super-Resolution [73.46167948298041]
  本稿では,空間領域における連続画素座標とスペクトル領域における連続波長の両方の関数として,画像を表すニューラル暗黙モデルを提案する。 SSIFは空間分解能とスペクトル分解能の両方によく対応していることを示す。 ダウンストリームタスクのパフォーマンスを1.7%-7%向上させる高解像度画像を生成することができる。
  論文  参考訳（メタデータ） (2023-09-30T15:23:30Z)
• Toward Sufficient Spatial-Frequency Interaction for Gradient-aware Underwater Image Enhancement [5.553172974022233]
  本研究では,空間周波数相互作用と勾配図に基づく新しい水中画像強調(UIE)フレームワークを開発する。 2つの実世界の水中画像データセットによる実験結果から,本手法が水中画像の強化に有効であることが確認された。
  論文  参考訳（メタデータ） (2023-09-08T02:58:17Z)
• Symmetric Uncertainty-Aware Feature Transmission for Depth Super-Resolution [52.582632746409665]
  カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。 本手法は最先端の手法と比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T06:35:59Z)
• Learning an Efficient Multimodal Depth Completion Model [11.740546882538142]
  RGB画像ガイドによるスパース深度補完は近年広く注目されているが、まだいくつかの問題に直面している。 提案手法は軽量なアーキテクチャで最先端の手法より優れている。 また、MIPI2022 RGB+TOFディープ・コンプリート・チャレンジでも優勝している。
  論文  参考訳（メタデータ） (2022-08-23T07:03:14Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。