論文の概要: Pseudo-label Guided Cross-video Pixel Contrast for Robotic Surgical
Scene Segmentation with Limited Annotations
- arxiv url: http://arxiv.org/abs/2207.09664v1
- Date: Wed, 20 Jul 2022 05:42:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-21 13:29:56.928781
- Title: Pseudo-label Guided Cross-video Pixel Contrast for Robotic Surgical
Scene Segmentation with Limited Annotations
- Title（参考訳）: Pseudo-label Guided Cross-Video Pixel Contrast for Robotic surgery Scene Segmentation with Limited Annotations (特集 画像・画像)
- Authors: Yang Yu, Zixu Zhao, Yueming Jin, Guangyong Chen, Qi Dou and Pheng-Ann
Heng
- Abstract要約: シーンセグメンテーションを促進するために,新しい擬似ラベル付きクロスビデオコントラスト学習法であるPGV-CLを提案する。
本研究では,ロボット外科手術データセットEndoVis18と白内障手術データセットCaDISについて検討した。
- 参考スコア（独自算出の注目度）: 72.15956198507281
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Surgical scene segmentation is fundamentally crucial for prompting cognitive
assistance in robotic surgery. However, pixel-wise annotating surgical video in
a frame-by-frame manner is expensive and time consuming. To greatly reduce the
labeling burden, in this work, we study semi-supervised scene segmentation from
robotic surgical video, which is practically essential yet rarely explored
before. We consider a clinically suitable annotation situation under the
equidistant sampling. We then propose PGV-CL, a novel pseudo-label guided
cross-video contrast learning method to boost scene segmentation. It
effectively leverages unlabeled data for a trusty and global model
regularization that produces more discriminative feature representation.
Concretely, for trusty representation learning, we propose to incorporate
pseudo labels to instruct the pair selection, obtaining more reliable
representation pairs for pixel contrast. Moreover, we expand the representation
learning space from previous image-level to cross-video, which can capture the
global semantics to benefit the learning process. We extensively evaluate our
method on a public robotic surgery dataset EndoVis18 and a public cataract
dataset CaDIS. Experimental results demonstrate the effectiveness of our
method, consistently outperforming the state-of-the-art semi-supervised methods
under different labeling ratios, and even surpassing fully supervised training
on EndoVis18 with 10.1% labeling.
- Abstract（参考訳）: 手術シーンのセグメンテーションは,ロボット手術における認知支援の促進に不可欠である。
しかし、ピクセル単位で手術用ビデオをフレームバイフレームでアノテートするのは費用がかかり、時間がかかる。
本研究では,ラベル付けの負担を大幅に軽減するため,ロボット手術映像からの半教師付きシーンセグメンテーションについて検討する。
同等なサンプリング条件下での臨床的に適切な注記状況について考察する。
そこで我々は,シーンセグメンテーションを促進するために,新しい擬似ラベル付きクロスビデオコントラスト学習法PGV-CLを提案する。
ラベルのないデータを信頼とグローバルなモデル正規化に効果的に活用し、より差別的な特徴表現を生成する。
具体的には,信頼表現学習のために,擬似ラベルを組み込んでペア選択を指導し,画素コントラストに対してより信頼性の高い表現ペアを得ることを提案する。
さらに、表現学習空間を従来の画像レベルからクロスビデオに拡張し、グローバルセマンティクスを捉え、学習プロセスに利益をもたらすことができる。
本研究では,ロボット外科手術データセットEndoVis18と白内障手術データセットCaDISについて検討した。
実験結果から,本手法の有効性を実証し,評価基準の異なる最先端の半教師あり手法を一貫して上回り,さらに10.1%のラベル付きEndoVis18の完全教師ありトレーニングを超越した。
関連論文リスト
- Revisiting Surgical Instrument Segmentation Without Human Intervention: A Graph Partitioning View [7.594796294925481]
本稿では,ビデオフレーム分割をグラフ分割問題として再検討し,教師なしの手法を提案する。
自己教師付き事前学習モデルは、まず、高レベルな意味的特徴をキャプチャする特徴抽出器として活用される。
ディープ」固有ベクトルでは、手術用ビデオフレームは、ツールや組織などの異なるモジュールに意味的に分割され、区別可能な意味情報を提供する。
論文 参考訳（メタデータ） (2024-08-27T05:31:30Z) - Dual-Decoder Consistency via Pseudo-Labels Guided Data Augmentation for
Semi-Supervised Medical Image Segmentation [13.707121013895929]
本稿では, Pseudo-Labels Guided Data Augmentation を用いた新しい半教師付き学習手法である Dual-Decoder Consistency を提案する。
我々は、同じエンコーダを維持しながら、生徒と教師のネットワークに異なるデコーダを使用します。
ラベルのないデータから学習するために、教師ネットワークによって生成された擬似ラベルを作成し、擬似ラベルでトレーニングデータを増強する。
論文 参考訳（メタデータ） (2023-08-31T09:13:34Z) - Distilling Self-Supervised Vision Transformers for Weakly-Supervised
Few-Shot Classification & Segmentation [58.03255076119459]
視覚変換器(ViT)を利用した弱教師付き小ショット画像分類とセグメンテーションの課題に対処する。
提案手法は,自己監督型ViTからトークン表現を抽出し,その相関関係を利用して分類とセグメンテーションの予測を行う。
Pascal-5iとCOCO-20iの実験は、様々な監視設定において大きなパフォーマンス向上を示した。
論文 参考訳（メタデータ） (2023-07-07T06:16:43Z) - Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。
ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。
提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
論文 参考訳（メタデータ） (2023-06-01T08:47:06Z) - Exploring Intra- and Inter-Video Relation for Surgical Semantic Scene
Segmentation [58.74791043631219]
セグメンテーション性能を高めるために,映像内および映像間関係を補完する新しいフレームワークSTswinCLを提案する。
本研究では,EndoVis18 ChallengeとCaDISデータセットを含む2つの公開手術ビデオベンチマークに対するアプローチを広く検証する。
実験により,従来の最先端手法を一貫して超越した提案手法の有望な性能を示す。
論文 参考訳（メタデータ） (2022-03-29T05:52:23Z) - Min-Max Similarity: A Contrastive Learning Based Semi-Supervised
Learning Network for Surgical Tools Segmentation [0.0]
コントラスト学習に基づく半教師付きセグメンテーションネットワークを提案する。
従来の最先端技術とは対照的に、両視点トレーニングの対照的な学習形式を導入する。
提案手法は、最先端の半教師付きおよび完全教師付きセグメンテーションアルゴリズムを一貫して上回る。
論文 参考訳（メタデータ） (2022-03-29T01:40:26Z) - Semi-supervised Contrastive Learning for Label-efficient Medical Image
Segmentation [11.935891325600952]
そこで本研究では,限定的な画素単位のアノテーションを利用して,同じラベルの画素を埋め込み空間に集めるために,教師付き局所的コントラスト損失を提案する。
ラベル付きデータの量が異なるため、我々の手法は、最先端のコントラストベースの手法や他の半教師付き学習技術よりも一貫して優れている。
論文 参考訳（メタデータ） (2021-09-15T16:23:48Z) - Self-Ensembling Contrastive Learning for Semi-Supervised Medical Image
Segmentation [6.889911520730388]
限られたラベルを持つ医用画像セグメンテーションにおける半教師あり学習の性能向上を目指す。
我々は、ラベルのない画像に対照的な損失を与えることによって、特徴レベルで潜在表現を直接学習する。
我々はMRIとCTのセグメンテーションデータセットの実験を行い、提案手法が最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2021-05-27T03:27:58Z) - CoCon: Cooperative-Contrastive Learning [52.342936645996765]
自己教師付き視覚表現学習は効率的な映像分析の鍵である。
最近の画像表現の学習の成功は、コントラスト学習がこの課題に取り組むための有望なフレームワークであることを示唆している。
コントラスト学習の協調的バリエーションを導入し、ビュー間の相補的な情報を活用する。
論文 参考訳（メタデータ） (2021-04-30T05:46:02Z) - Naive-Student: Leveraging Semi-Supervised Learning in Video Sequences
for Urban Scene Segmentation [57.68890534164427]
本研究では,未ラベル映像シーケンスと追加画像の半教師付き学習を利用して,都市景観セグメンテーションの性能を向上させることができるかどうかを問う。
我々は単にラベルのないデータに対して擬似ラベルを予測し、人間の注釈付きデータと擬似ラベル付きデータの両方でその後のモデルを訓練する。
我々のNaive-Studentモデルは、このような単純で効果的な反復的半教師付き学習で訓練され、3つのCityscapesベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2020-05-20T18:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。