論文の概要: Rethinking RGB-D Fusion for Semantic Segmentation in Surgical Datasets

• arxiv url: http://arxiv.org/abs/2407.19714v1
• Date: Mon, 29 Jul 2024 05:35:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 14:56:26.232579
• Title: Rethinking RGB-D Fusion for Semantic Segmentation in Surgical Datasets
• Title（参考訳）: 外科的データセットのセマンティックセグメンテーションにおけるRGB-Dフュージョンの再考
• Authors: Muhammad Abdullah Jamal, Omid Mohareri,
• Abstract要約: 本稿では,SurgDepth という,シンプルで効果的なマルチモーダル(RGBと深さ)トレーニングフレームワークを提案する。 このタスクに適用可能なすべての公開データセットに対して、最先端(SOTA)結果を示す。 ベンチマークデータセットには、EndoVis2022、AutoLapro、LapI2I、EndoVis 2017などの広範な実験を行っている。
• 参考スコア（独自算出の注目度）: 5.069884983892437
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Surgical scene understanding is a key technical component for enabling intelligent and context aware systems that can transform various aspects of surgical interventions. In this work, we focus on the semantic segmentation task, propose a simple yet effective multi-modal (RGB and depth) training framework called SurgDepth, and show state-of-the-art (SOTA) results on all publicly available datasets applicable for this task. Unlike previous approaches, which either fine-tune SOTA segmentation models trained on natural images, or encode RGB or RGB-D information using RGB only pre-trained backbones, SurgDepth, which is built on top of Vision Transformers (ViTs), is designed to encode both RGB and depth information through a simple fusion mechanism. We conduct extensive experiments on benchmark datasets including EndoVis2022, AutoLapro, LapI2I and EndoVis2017 to verify the efficacy of SurgDepth. Specifically, SurgDepth achieves a new SOTA IoU of 0.86 on EndoVis 2022 SAR-RARP50 challenge and outperforms the current best method by at least 4%, using a shallow and compute efficient decoder consisting of ConvNeXt blocks.
• Abstract（参考訳）: 外科的シーン理解は、外科的介入の様々な側面を変換できるインテリジェントでコンテキストを認識したシステムを実現するための重要な技術要素である。 本研究では、セマンティックセグメンテーションタスクに着目し、SurgDepthと呼ばれるシンプルで効果的なマルチモーダル(RGBと深さ)トレーニングフレームワークを提案し、このタスクに適用可能なすべての公開データセットに対して、最先端(SOTA)結果を示す。 自然画像で訓練されたSOTAセグメンテーションモデルやRGBまたはRGB-D情報を事前に訓練されたバックボーンのみを用いてエンコードする従来のアプローチとは異なり、ViT(Vision Transformer)上に構築されたSurgDepthは、単純な融合機構によってRGBと深度の両方の情報をエンコードするように設計されている。 我々は、SurgDepthの有効性を検証するために、EndoVis2022、AutoLapro、LapI2I、EndoVis2017などのベンチマークデータセットに対して広範な実験を行った。 具体的には、SurgDepthはEndoVis 2022 SAR-RARP50チャレンジで0.86の新しいSOTA IoUを達成し、ConvNeXtブロックからなる浅く効率的なデコーダを使用して、現在のベストメソッドを少なくとも4%上回っている。

関連論文リスト

• Depth-Guided Semi-Supervised Instance Segmentation [62.80063539262021]
  Semi-Supervised Instance (SSIS)は、トレーニング中にラベルなしデータの量を活用することを目的としている。 従来のフレームワークは主に、ラベルなし画像のRGB情報を利用して擬似ラベルを生成する。 この制限を克服するために、Depth-Guided (DG)フレームワークを導入します。
  論文  参考訳（メタデータ） (2024-06-25T09:36:50Z)
• RGB-Sonar Tracking Benchmark and Spatial Cross-Attention Transformer Tracker [4.235252053339947]
  本稿では,新しいRGB-Sonar(RGB-S)トラッキングタスクを提案する。 RGBとソナーモダリティの相互作用により、水中の標的の効率的な追跡を実現する方法について検討する。
  論文  参考訳（メタデータ） (2024-06-11T12:01:11Z)
• A Strong Transfer Baseline for RGB-D Fusion in Vision Transformers [0.0]
  単視点3Dオブジェクト認識のためのRGB-Dドメインで事前学習したViTを転送するためのレシピを提案する。 我々の適応したViTsは、ワシントン州で95.1%の精度で評価され、このベンチマークで新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-10-03T12:08:09Z)
• Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection [16.64781797503128]
  RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。 本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。 ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-07T20:26:09Z)
• Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection [67.33924278729903]
  本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。 視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。 5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-07T08:35:41Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• Self-Supervised Representation Learning for RGB-D Salient Object Detection [93.17479956795862]
  我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。 我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。 RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
  論文  参考訳（メタデータ） (2021-01-29T09:16:06Z)
• Data-Level Recombination and Lightweight Fusion Scheme for RGB-D Salient Object Detection [73.31632581915201]
  深部特徴抽出に先立って,RGBとD(深部)を融合する新たなデータレベル組換え手法を提案する。 新たに設計された3重ストリームネットワークをこれらの新しい定式化データ上に適用し,RGBとDのチャネルワイドな相補的融合状態を実現する。
  論文  参考訳（メタデータ） (2020-08-07T10:13:05Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。