論文の概要: Cross-Modal Weighting Network for RGB-D Salient Object Detection

• arxiv url: http://arxiv.org/abs/2007.04901v1
• Date: Thu, 9 Jul 2020 16:01:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 04:42:04.973359
• Title: Cross-Modal Weighting Network for RGB-D Salient Object Detection
• Title（参考訳）: RGB-Dサルエント物体検出のためのクロスモーダル重み付けネットワーク
• Authors: Gongyang Li, Zhi Liu, Linwei Ye, Yang Wang, Haibin Ling
• Abstract要約: 我々は,RGB-D SODの深度チャネルとRGB-D SODの包括的相互作用を促進するために,新しいクロスモーダルウェイトリング(CMW)戦略を提案する。 具体的には、CMW-L、CMW-M、CMW-Hという3つのRGB-depth相互作用モジュールが、それぞれ低レベル、中級、高レベルのクロスモーダル情報融合を扱うように開発されている。 CMWNetは、7つの人気のあるベンチマークで15の最先端のRGB-D SODメソッドを上回っている。
• 参考スコア（独自算出の注目度）: 76.0965123893641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth maps contain geometric clues for assisting Salient Object Detection (SOD). In this paper, we propose a novel Cross-Modal Weighting (CMW) strategy to encourage comprehensive interactions between RGB and depth channels for RGB-D SOD. Specifically, three RGB-depth interaction modules, named CMW-L, CMW-M and CMW-H, are developed to deal with respectively low-, middle- and high-level cross-modal information fusion. These modules use Depth-to-RGB Weighing (DW) and RGB-to-RGB Weighting (RW) to allow rich cross-modal and cross-scale interactions among feature layers generated by different network blocks. To effectively train the proposed Cross-Modal Weighting Network (CMWNet), we design a composite loss function that summarizes the errors between intermediate predictions and ground truth over different scales. With all these novel components working together, CMWNet effectively fuses information from RGB and depth channels, and meanwhile explores object localization and details across scales. Thorough evaluations demonstrate CMWNet consistently outperforms 15 state-of-the-art RGB-D SOD methods on seven popular benchmarks.
• Abstract（参考訳）: 深度マップには、Salient Object Detection (SOD) を支援する幾何学的手がかりが含まれている。 本稿では,RGB-D SODの深度チャネルとRGB-D SODの包括的相互作用を促進するために,新しいCMW戦略を提案する。 具体的には,cmw-l,cmw-m,cmw-hという3つのrgb深層相互作用モジュールを用いて,低レベル,中レベル,高レベルなクロスモーダル情報融合を実現する。 これらのモジュールはDW(Depth-to-RGB Weighing)とRW(RGB-to-RGB Weighting)を使用して、異なるネットワークブロックによって生成された機能層間のリッチなクロスモーダルおよびクロススケールな相互作用を可能にする。 提案するクロスモーダル重み付けネットワーク(cmwnet)を効果的にトレーニングするために,中間予測と基底真理の誤差を異なるスケールで要約する複合損失関数を設計した。 これらの新しいコンポーネントがすべて一緒に動作するため、CMWNetはRGBとディープチャネルからの情報を効果的に融合し、オブジェクトのローカライゼーションとスケールの細部を探究する。 CMWNetは、7つの人気のあるベンチマークで15の最先端のRGB-D SOD法を一貫して上回っている。

関連論文リスト

• HODINet: High-Order Discrepant Interaction Network for RGB-D Salient Object Detection [4.007827908611563]
  RGB-D Salient Object Detection (SOD) は、RGBと深度情報を共同でモデル化することで、顕著な領域を検出することを目的としている。 ほとんどのRGB-D SOD法は、同じ種類のバックボーンと融合モジュールを適用して、マルチモーダリティとマルチステージの特徴を同一に学習する。 本稿では,RGB-D SODのための高次離散相互作用ネットワーク(HODINet)を提案する。
  論文  参考訳（メタデータ） (2023-07-03T11:56:21Z)
• Interactive Context-Aware Network for RGB-T Salient Object Detection [7.544240329265388]
  ICANet(Interactive Context-Aware Network)と呼ばれる新しいネットワークを提案する。 ICANetには、クロスモーダルとクロススケールの融合を効果的に実行する3つのモジュールが含まれている。 実験により,我々のネットワークは最先端のRGB-T SOD法に対して良好に動作していることが示された。
  論文  参考訳（メタデータ） (2022-11-11T10:04:36Z)
• CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient Object Detection [144.66411561224507]
  本稿では,CIR-Netと呼ばれる畳み込みニューラルネットワーク(CNN)モデルを提案する。 我々のネットワークは、定性的かつ定量的に最先端の塩分濃度検出器より優れています。
  論文  参考訳（メタデータ） (2022-10-06T11:59:19Z)
• Modality-Guided Subnetwork for Salient Object Detection [5.491692465987937]
  ほとんどのRGBDネットワークは、入力側から複数のモダリティを必要とし、それらを2ストリームの設計で別々に供給する。 本稿では、モダリティ誘導サブネットワーク(MGSnet)と呼ばれる新しい融合設計を提案する。 1)RGBデータとRGBDデータの両方で機能し、使用できない場合の深度を動的に推定する。
  論文  参考訳（メタデータ） (2021-10-10T20:59:11Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• Siamese Network for RGB-D Salient Object Detection and Beyond [113.30063105890041]
  共有ネットワークバックボーンを通じてRGBと深度入力の両方から学習するための新しいフレームワークが提案されている。 5つの一般的な指標を用いた総合的な実験は、設計されたフレームワークが堅牢なRGB-D塩分濃度検出器をもたらすことを示している。 また、JL-DCFをRGB-Dセマンティックセマンティックセマンティクスフィールドにリンクし、いくつかのセマンティクスセマンティクスモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-08-26T06:01:05Z)
• Data-Level Recombination and Lightweight Fusion Scheme for RGB-D Salient Object Detection [73.31632581915201]
  深部特徴抽出に先立って,RGBとD(深部)を融合する新たなデータレベル組換え手法を提案する。 新たに設計された3重ストリームネットワークをこれらの新しい定式化データ上に適用し,RGBとDのチャネルワイドな相補的融合状態を実現する。
  論文  参考訳（メタデータ） (2020-08-07T10:13:05Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。