論文の概要: Depth Quality-Inspired Feature Manipulation for Efficient RGB-D Salient Object Detection

• arxiv url: http://arxiv.org/abs/2107.01779v2
• Date: Tue, 6 Jul 2021 05:07:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-08 09:19:06.905404
• Title: Depth Quality-Inspired Feature Manipulation for Efficient RGB-D Salient Object Detection
• Title（参考訳）: 高精度RGB-D能動物体検出のための深さ品質を考慮した特徴マニピュレーション
• Authors: Wenbo Zhang, Ge-Peng Ji, Zhuo Wang, Keren Fu, Qijun Zhao
• Abstract要約: RGB-D Salient Object Detection (SOD) は、従来のRGB SODに余分な深度情報を提供することによって、研究の関心を高めている。 既存のRGB-D SODモデルは、効率と精度の両面でうまく機能しないことが多い。 本稿では,DQFMプロセスを提案する。DQFMプロセスは効率が高く,奥行き特徴をフィルタリングするためのゲーティング機構として機能する。
• 参考スコア（独自算出の注目度）: 19.60615728172274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: RGB-D salient object detection (SOD) recently has attracted increasing research interest by benefiting conventional RGB SOD with extra depth information. However, existing RGB-D SOD models often fail to perform well in terms of both efficiency and accuracy, which hinders their potential applications on mobile devices and real-world problems. An underlying challenge is that the model accuracy usually degrades when the model is simplified to have few parameters. To tackle this dilemma and also inspired by the fact that depth quality is a key factor influencing the accuracy, we propose a novel depth quality-inspired feature manipulation (DQFM) process, which is efficient itself and can serve as a gating mechanism for filtering depth features to greatly boost the accuracy. DQFM resorts to the alignment of low-level RGB and depth features, as well as holistic attention of the depth stream to explicitly control and enhance cross-modal fusion. We embed DQFM to obtain an efficient light-weight model called DFM-Net, where we also design a tailored depth backbone and a two-stage decoder for further efficiency consideration. Extensive experimental results demonstrate that our DFM-Net achieves state-of-the-art accuracy when comparing to existing non-efficient models, and meanwhile runs at 140ms on CPU (2.2$\times$ faster than the prior fastest efficient model) with only $\sim$8.5Mb model size (14.9% of the prior lightest). Our code will be available at https://github.com/zwbx/DFM-Net.
• Abstract（参考訳）: rgb-d salient object detection (sod) は、従来のrgb sodに余分な奥行き情報を与えることで、研究の関心が高まっている。 しかし、既存のRGB-D SODモデルは効率と精度の両面でうまく機能しないことが多く、モバイルデバイスや現実世界の問題を妨げている。 根本的な課題は、モデルがほとんどパラメータを持たないように単純化されると、モデル精度が低下することです。 このジレンマに対処し,また深さ品質が精度に影響を与える重要な要因であるという事実にインスパイアされた上で,我々は,深度品質に触発された特徴操作(dqfm)プロセスを提案する。 dqfmは、低レベルのrgbと深度の特徴のアラインメントと、深度ストリームの全体的注意を利用して、クロスモーダル融合を明示的に制御し強化する。 DQFMを組み込み、DFM-Netと呼ばれる効率的な軽量モデルを得る。 我々のDFM-Netは、既存の非効率モデルと比較すると最先端の精度を達成し、一方CPU上では140ms(2.2$\times$以前の最速の高速モデルより高速)で、モデルサイズはわずか$\sim$8.5Mb(14.9%)である。 私たちのコードはhttps://github.com/zwbx/dfm-netで利用可能です。

関連論文リスト

• RBF Weighted Hyper-Involution for RGB-D Object Detection [0.0]
  リアルタイムと2つのストリームRGBDオブジェクト検出モデルを提案する。 提案モデルでは, 深度誘導型ハイパーインボリューションを生深度マップの空間的相互作用パターンに基づいて動的に適応する深度誘導型ハイパーインボリューションと, アップサンプリングに基づくトレーニング可能な融合層からなる。 提案モデルは,NYU Depth v2データセットで他のRGB-Dベースオブジェクト検出モデルよりも優れており,SUN RGB-Dで比較した(第2位)結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-30T11:25:34Z)
• Deep Neighbor Layer Aggregation for Lightweight Self-Supervised Monocular Depth Estimation [1.6775954077761863]
  文脈的特徴融合を用いた完全畳み込み深度推定ネットワークを提案する。 UNet++やHRNetと比較して、我々は、小さなターゲットや高速移動オブジェクトに関する情報を予約するために、高解像度で低解像度の機能を使用します。 本手法は精度を犠牲にすることなくパラメータを削減する。
  論文  参考訳（メタデータ） (2023-09-17T13:40:15Z)
• Depth Quality-Inspired Feature Manipulation for Efficient RGB-D and Video Salient Object Detection [19.303505989449736]
  CNN-based RGB-D salient Object Detection (SOD) は検出精度を大幅に改善した。 既存のモデルは、効率と精度の点で、しばしばうまく機能しない。 精度を大幅に向上するが,計算量が少ない効率的なモジュールを提案する。
  論文  参考訳（メタデータ） (2022-08-08T05:21:41Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• MobileSal: Extremely Efficient RGB-D Salient Object Detection [62.04876251927581]
  本稿では,効率的なRGB-Dサルエント物体検出(SOD)に焦点を当てた新しいネットワーク,メソッド名を提案する。 RGB-D SODのためのモバイルネットワークの特徴表現能力を強化するために,暗黙的深度復元(IDR)手法を提案する。 IDRとCPRを組み込むことで、7つの挑戦的なRGB-D SODデータセット上のsArtメソッドに対してメソッド名が好ましい。
  論文  参考訳（メタデータ） (2020-12-24T04:36:42Z)
• Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection [145.4919781325014]
  クロスモーダル情報を効果的に融合する方法は、RGB-Dの有能な物体検出の鍵となる問題である。 多くのモデルは特徴融合戦略を用いるが、低次点対点融合法によって制限されている。 本研究では,異なるモダリティから注目とコンテキストを融合させることにより,新たな相互注意モデルを提案する。
  論文  参考訳（メタデータ） (2020-10-12T08:50:10Z)
• A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection [89.88222217065858]
  我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。 このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
  論文  参考訳（メタデータ） (2020-07-14T04:40:14Z)
• Hierarchical Dynamic Filtering Network for RGB-D Salient Object Detection [91.43066633305662]
  RGB-D Salient Object Detection (SOD) の主な目的は、相互融合情報をよりよく統合し活用する方法である。 本稿では,これらの問題を新たな視点から考察する。 我々は、より柔軟で効率的なマルチスケールのクロスモーダルな特徴処理を実装している。
  論文  参考訳（メタデータ） (2020-07-13T07:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。