論文の概要: Completion as Enhancement: A Degradation-Aware Selective Image Guided Network for Depth Completion

• arxiv url: http://arxiv.org/abs/2412.19225v1
• Date: Thu, 26 Dec 2024 14:05:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:25:09.207304
• Title: Completion as Enhancement: A Degradation-Aware Selective Image Guided Network for Depth Completion
• Title（参考訳）: エンハンスメントとしてのコンプリート:深度コンプリートのためのデグレート対応選択型イメージガイドネットワーク
• Authors: Zhiqiang Yan, Zhengxue Wang, Kun Wang, Jun Li, Jian Yang,
• Abstract要約: 本稿では,新しい劣化認識フレームワークであるSigNetを紹介する。 SigNetは、ディープコンプリートを初めてディープエンハンスメントに変換する。 我々は、NYUv2、DIML、SUN RGBD、TOFDCデータセットに関する広範な実験を行い、SigNetの最先端(SOTA)性能を実証した。
• 参考スコア（独自算出の注目度）: 19.501680619900032
• License:
• Abstract: In this paper, we introduce the Selective Image Guided Network (SigNet), a novel degradation-aware framework that transforms depth completion into depth enhancement for the first time. Moving beyond direct completion using convolutional neural networks (CNNs), SigNet initially densifies sparse depth data through non-CNN densification tools to obtain coarse yet dense depth. This approach eliminates the mismatch and ambiguity caused by direct convolution over irregularly sampled sparse data. Subsequently, SigNet redefines completion as enhancement, establishing a self-supervised degradation bridge between the coarse depth and the targeted dense depth for effective RGB-D fusion. To achieve this, SigNet leverages the implicit degradation to adaptively select high-frequency components (e.g., edges) of RGB data to compensate for the coarse depth. This degradation is further integrated into a multi-modal conditional Mamba, dynamically generating the state parameters to enable efficient global high-frequency information interaction. We conduct extensive experiments on the NYUv2, DIML, SUN RGBD, and TOFDC datasets, demonstrating the state-of-the-art (SOTA) performance of SigNet.
• Abstract（参考訳）: 本稿では、深度補正を初めて深度向上に変換する新しい劣化認識フレームワークSigNetについて紹介する。 畳み込みニューラルネットワーク(CNN)による直接補完を超えて、SigNetは最初、非CNN密度化ツールを通じてスパース深度データを密度化して、粗いが密度の深い深度を得る。 このアプローチは、不規則にサンプリングされたスパースデータに対する直接畳み込みによるミスマッチとあいまいさを取り除く。 その後、SigNetは完了を拡張として再定義し、粗い深さとターゲット密度の深い深さの間の自己監督的な劣化橋を構築し、効果的なRGB-D融合を行う。 これを実現するため、SigNetは暗黙の劣化を利用してRGBデータの高周波成分(例えばエッジ)を適応的に選択し、粗い深さを補償する。 この劣化はマルチモーダル条件のMambaにさらに統合され、動的に状態パラメータを生成し、効率的な大域的な高周波情報通信を可能にする。 我々は、NYUv2、DIML、SUN RGBD、TOFDCデータセットに関する広範な実験を行い、SigNetの最先端(SOTA)性能を実証した。

関連論文リスト

• Degradation Oriented and Regularized Network for Blind Depth Super-Resolution [48.744290794713905]
  現実のシナリオでは、キャプチャーされた深度データは、センサーの制限や複雑な撮像環境のために、従来と変わらない劣化に悩まされることが多い。 本稿では,現実のシーンにおける未知の劣化に適応的に対処する新しいフレームワークであるDORNetを提案する。 提案手法は,低解像度深度データの劣化表現をモデル化した自己教師付き劣化学習戦略の開発から始まる。 効率的なRGB-D融合を容易にするために,学習した劣化先行情報に基づいて,RGBコンテンツを奥行きデータに選択的に伝播する劣化指向の特徴変換モジュールを導入する。
  論文  参考訳（メタデータ） (2024-10-15T14:53:07Z)
• SDformer: Efficient End-to-End Transformer for Depth Completion [5.864200786548098]
  深度完了は、深度センサからの疎度測定で深度マップを予測することを目的としている。 現在、畳み込みニューラルネットワーク(CNN)ベースのモデルは、深度補完タスクに適用される最も一般的な手法である。 CNNの欠点を克服するため、適応型自己アテンション設定シーケンス・ツー・シーケンスモデルである、より効果的で強力な手法が提案されている。
  論文  参考訳（メタデータ） (2024-09-12T15:52:08Z)
• Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection [95.84616822805664]
  我々は,CNNによるトランスフォーマーアーキテクチャを導入し,ポイント・アウェア・インタラクションとCNNによるリファインメントを備えた新しいRGB-D SODネットワークを提案する。 トランスフォーマーがもたらすブロック効果とディテール破壊問題を自然に軽減するために,コンテンツリファインメントとサプリメントのためのCNNRユニットを設計する。
  論文  参考訳（メタデータ） (2023-08-17T11:57:49Z)
• Learning an Efficient Multimodal Depth Completion Model [11.740546882538142]
  RGB画像ガイドによるスパース深度補完は近年広く注目されているが、まだいくつかの問題に直面している。 提案手法は軽量なアーキテクチャで最先端の手法より優れている。 また、MIPI2022 RGB+TOFディープ・コンプリート・チャレンジでも優勝している。
  論文  参考訳（メタデータ） (2022-08-23T07:03:14Z)
• Sparse Depth Completion with Semantic Mesh Deformation Optimization [4.03103540543081]
  本稿では、RGB画像とスパース深度サンプルを入力とし、完全な深度マップを予測し、最適化後のニューラルネットワークを提案する。 評価結果は,屋内および屋外両方のデータセットにおいて,既存の成果を一貫して上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-10T13:01:06Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Progressively Guided Alternate Refinement Network for RGB-D Salient Object Detection [63.18846475183332]
  我々は,RGB-Dの高次物体検出のための効率的かつコンパクトなディープネットワークを開発することを目指している。 そこで本研究では,改良のための改良ネットワークを提案する。 我々のモデルは、既存の最先端のアプローチよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-08-17T02:55:06Z)
• Data-Level Recombination and Lightweight Fusion Scheme for RGB-D Salient Object Detection [73.31632581915201]
  深部特徴抽出に先立って,RGBとD(深部)を融合する新たなデータレベル組換え手法を提案する。 新たに設計された3重ストリームネットワークをこれらの新しい定式化データ上に適用し,RGBとDのチャネルワイドな相補的融合状態を実現する。
  論文  参考訳（メタデータ） (2020-08-07T10:13:05Z)
• A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection [89.88222217065858]
  我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。 このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
  論文  参考訳（メタデータ） (2020-07-14T04:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。