論文の概要: Synergistic saliency and depth prediction for RGB-D saliency detection

• arxiv url: http://arxiv.org/abs/2007.01711v2
• Date: Mon, 26 Oct 2020 06:23:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 05:36:54.949225
• Title: Synergistic saliency and depth prediction for RGB-D saliency detection
• Title（参考訳）: rgb-d塩分検出のための相乗的塩分と深さ予測
• Authors: Yue Wang, Yuke Li, James H. Elder, Huchuan Lu, Runmin Wu, Lu Zhang
• Abstract要約: 既存のRGB-Dサリエンシデータセットは小さく、多様なシナリオに対して過度に適合し、限定的な一般化につながる可能性がある。 そこで本研究では,RGB-Dサリエンシ検出のための半教師付きシステムを提案する。
• 参考スコア（独自算出の注目度）: 76.27406945671379
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth information available from an RGB-D camera can be useful in segmenting salient objects when figure/ground cues from RGB channels are weak. This has motivated the development of several RGB-D saliency datasets and algorithms that use all four channels of the RGB-D data for both training and inference. Unfortunately, existing RGB-D saliency datasets are small, which may lead to overfitting and limited generalization for diverse scenarios. Here we propose a semi-supervised system for RGB-D saliency detection that can be trained on smaller RGB-D saliency datasets without saliency ground truth, while also make effective joint use of a large RGB saliency dataset with saliency ground truth together. To generalize our method on RGB-D saliency datasets, a novel prediction-guided cross-refinement module which jointly estimates both saliency and depth by mutual refinement between two respective tasks, and an adversarial learning approach are employed. Critically, our system does not require saliency ground-truth for the RGB-D datasets, which saves the massive human labor for hand labeling, and does not require the depth data for inference, allowing the method to be used for the much broader range of applications where only RGB data are available. Evaluation on seven RGB-D datasets demonstrates that even without saliency ground truth for RGB-D datasets and using only the RGB data of RGB-D datasets at inference, our semi-supervised system performs favorable against state-of-the-art fully-supervised RGB-D saliency detection methods that use saliency ground truth for RGB-D datasets at training and depth data at inference on two largest testing datasets. Our approach also achieves comparable results on other popular RGB-D saliency benchmarks.
• Abstract（参考訳）: RGB-Dカメラから得られる深度情報は、RGBチャンネルからの図形/地上の手がかりが弱い場合に、有能なオブジェクトのセグメンテーションに有用である。 これは、トレーニングと推論の両方にRGB-Dデータの4つのチャンネルすべてを使用する、複数のRGB-Dサリエンシデータセットとアルゴリズムの開発を動機付けている。 残念ながら、既存のRGB-Dサリエンシデータセットは小さく、多様なシナリオに過度に適合し、限定的な一般化をもたらす可能性がある。 本稿では,saliency ground truthを伴わない,より小さなrgb-d saliency dataset上で,saliency ground truthを併用した大規模rgb saliency datasetの効果的な共同利用が可能な,rgb-d saliency detectionのための半教師付きシステムを提案する。 提案手法をRGB-Dサリエンシデータセットに一般化するために,2つのタスク間の相互洗練による相似性と深度を共同で推定する新しい予測誘導型クロスリファインメントモジュールと,逆学習手法を用いる。 批判的に、我々のシステムはRGB-Dデータセットに対して、大規模な人的負担を削減し、推論のための深度データを必要としないため、RGBデータしか利用できないより広い範囲のアプリケーションにメソッドを使用できる。 7つのRGB-Dデータセットに対する評価は、RGB-Dデータセットの正当性基底真理と推論時にRGB-DデータセットのRGBデータのみを用いることなく、我々の半教師システムは、2つの大きなテストデータセットの推論時にRGB-Dデータセットの正当性基底真理を利用する最先端の完全教師付きRGB-D正当性検出方法に対して好適に機能することを示した。 我々のアプローチは、他のRGB-Dサリエンシベンチマークと同等の結果を得る。

関連論文リスト

• RGB-Sonar Tracking Benchmark and Spatial Cross-Attention Transformer Tracker [4.235252053339947]
  本稿では,新しいRGB-Sonar(RGB-S)トラッキングタスクを提案する。 RGBとソナーモダリティの相互作用により、水中の標的の効率的な追跡を実現する方法について検討する。
  論文  参考訳（メタデータ） (2024-06-11T12:01:11Z)
• All in One: RGB, RGB-D, and RGB-T Salient Object Detection [6.417439550842723]
  オブジェクト指向物体検出(SOD)は、画像内の最も魅力的な物体を特定することを目的としている。 従来の研究では、個々のデータ型による唾液度検出に焦点が当てられていた。 本稿では,3種類のデータに対する健全なオブジェクト検出タスクに統一されたソリューションを提供する,革新的なモデルフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-23T03:34:41Z)
• DFormer: Rethinking RGBD Representation Learning for Semantic Segmentation [76.81628995237058]
  DFormerは、RGB-Dセグメンテーションタスクの転送可能な表現を学ぶための新しいフレームワークである。 ImageNet-1Kから画像深度ペアを使用してバックボーンを事前トレーニングする。 DFormerは2つのRGB-Dタスクで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-09-18T11:09:11Z)
• RGBD1K: A Large-scale Dataset and Benchmark for RGB-D Object Tracking [30.448658049744775]
  注釈付きRGB-D追跡データが限られているため、最先端のRGB-Dトラッカーのほとんどは、高性能なRGB-Dトラッカーの単純な拡張である。 データセット不足問題に対処するため,RGBD1Kという新しいRGB-Dデータセットを報告した。
  論文  参考訳（メタデータ） (2022-08-21T03:07:36Z)
• Pyramidal Attention for Saliency Detection [30.554118525502115]
  本稿では,RGB画像のみを活用し,RGBから深度を推定し,中間深度特性を利用する。 ピラミッド型アテンション構造を用いて,マルチレベル畳み込み変換器の特徴を抽出し,初期表現の処理を行う。 我々は8つのRGBおよびRGB-Dデータセット上で21と40の最先端SOD法に対する性能を著しく改善したことを報告した。
  論文  参考訳（メタデータ） (2022-04-14T06:57:46Z)
• Boosting RGB-D Saliency Detection by Leveraging Unlabeled RGB Images [89.81919625224103]
  RGB-D Salient Object Detection (SOD) のための深層モデルの訓練は、しばしば多数のラベル付きRGB-D画像を必要とする。 本稿では、ラベルのないRGB画像を活用するために、Dual-Semi RGB-D Salient Object Detection Network (DS-Net)を提案する。
  論文  参考訳（メタデータ） (2022-01-01T03:02:27Z)
• Data-Level Recombination and Lightweight Fusion Scheme for RGB-D Salient Object Detection [73.31632581915201]
  深部特徴抽出に先立って,RGBとD(深部)を融合する新たなデータレベル組換え手法を提案する。 新たに設計された3重ストリームネットワークをこれらの新しい定式化データ上に適用し,RGBとDのチャネルワイドな相補的融合状態を実現する。
  論文  参考訳（メタデータ） (2020-08-07T10:13:05Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)
• Is Depth Really Necessary for Salient Object Detection? [50.10888549190576]
  本稿では,RGB情報のみを推論の入力とする統合深度認識フレームワークの実現に向けた最初の試みを行う。 5つの公開RGB SODベンチマークの最先端のパフォーマンスを上回るだけでなく、5つのベンチマークのRGBDベースのメソッドを大きく上回っている。
  論文  参考訳（メタデータ） (2020-05-30T13:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。