論文の概要: SAF-IS: a Spatial Annotation Free Framework for Instance Segmentation of Surgical Tools

• arxiv url: http://arxiv.org/abs/2309.01723v1
• Date: Mon, 4 Sep 2023 17:13:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 17:55:00.116279
• Title: SAF-IS: a Spatial Annotation Free Framework for Instance Segmentation of Surgical Tools
• Title（参考訳）: SAF-IS: 外科用ツールのインスタンス分割のための空間アノテーションフリーフレームワーク
• Authors: Luca Sestini, Benoit Rosa, Elena De Momi, Giancarlo Ferrigno, Nicolas Padoy
• Abstract要約: トレーニングに空間アノテーションを頼らずに,実例分割のためのフレームワークを開発する。 我々のソリューションはバイナリツールマスクのみを必要とし、最新の教師なしアプローチとバイナリツール存在ラベルを使って取得できる。 当社のフレームワークは、2017年と2018年のセグメンテーションデータセット上で検証しています。
• 参考スコア（独自算出の注目度）: 10.295921059528636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instance segmentation of surgical instruments is a long-standing research problem, crucial for the development of many applications for computer-assisted surgery. This problem is commonly tackled via fully-supervised training of deep learning models, requiring expensive pixel-level annotations to train. In this work, we develop a framework for instance segmentation not relying on spatial annotations for training. Instead, our solution only requires binary tool masks, obtainable using recent unsupervised approaches, and binary tool presence labels, freely obtainable in robot-assisted surgery. Based on the binary mask information, our solution learns to extract individual tool instances from single frames, and to encode each instance into a compact vector representation, capturing its semantic features. Such representations guide the automatic selection of a tiny number of instances (8 only in our experiments), displayed to a human operator for tool-type labelling. The gathered information is finally used to match each training instance with a binary tool presence label, providing an effective supervision signal to train a tool instance classifier. We validate our framework on the EndoVis 2017 and 2018 segmentation datasets. We provide results using binary masks obtained either by manual annotation or as predictions of an unsupervised binary segmentation model. The latter solution yields an instance segmentation approach completely free from spatial annotations, outperforming several state-of-the-art fully-supervised segmentation approaches.
• Abstract（参考訳）: 手術器具のインスタンスセグメンテーションは長年の研究課題であり、コンピュータ支援手術のための多くの応用の開発に不可欠である。 この問題は、ディープラーニングモデルの完全な教師付きトレーニングによって対処されることが多い。 本研究では,空間アノテーションをトレーニングに頼らずに,実例分割のためのフレームワークを開発する。 その代わり、このソリューションは、ロボット支援手術で自由に得られるバイナリツールマスクと、最近の教師なしアプローチで取得可能なバイナリツールプレゼンスラベルのみを必要とする。 バイナリマスク情報に基づいて,個々のツールインスタンスを単一フレームから抽出し,各インスタンスをコンパクトなベクトル表現に符号化し,その意味的特徴をキャプチャする。 このような表現は、ツールタイプのラベル付けのために人間のオペレータに表示される少数のインスタンス(実験でのみ8個)の自動選択を導く。 収集された情報は、最終的に各トレーニングインスタンスとバイナリツール存在ラベルをマッチングするために使用され、ツールインスタンス分類器をトレーニングするための効果的な監視信号を提供する。 当社のフレームワークは、endovis 2017と2018のセグメンテーションデータセット上で検証します。 手動アノテーションまたは教師なしバイナリセグメンテーションモデルの予測によって得られたバイナリマスクを用いて結果を提供する。 後者のソリューションは、インスタンスセグメンテーションアプローチを空間アノテーションから完全に解放し、いくつかの最先端の完全教師付きセグメンテーションアプローチを上回っている。

関連論文リスト

• Revisiting Surgical Instrument Segmentation Without Human Intervention: A Graph Partitioning View [7.594796294925481]
  本稿では,ビデオフレーム分割をグラフ分割問題として再検討し,教師なしの手法を提案する。 自己教師付き事前学習モデルは、まず、高レベルな意味的特徴をキャプチャする特徴抽出器として活用される。 ディープ」固有ベクトルでは、手術用ビデオフレームは、ツールや組織などの異なるモジュールに意味的に分割され、区別可能な意味情報を提供する。
  論文  参考訳（メタデータ） (2024-08-27T05:31:30Z)
• Unsupervised Universal Image Segmentation [59.0383635597103]
  本稿では,Unsupervised Universal Model (U2Seg) を提案する。 U2Segは、自己教師付きモデルを利用して、これらのセグメンテーションタスクの擬似意味ラベルを生成する。 次に、これらの擬似意味ラベル上でモデルを自己学習し、かなりの性能向上をもたらす。
  論文  参考訳（メタデータ） (2023-12-28T18:59:04Z)
• PWISeg: Point-based Weakly-supervised Instance Segmentation for Surgical Instruments [27.89003436883652]
  我々はPWISeg (Point-based Weakly-supervised Instance) という,弱制御型手術器具セグメンテーション手法を提案する。 PWISegは、特徴点とバウンディングボックスの関係をモデル化するために、ポイント・ツー・ボックスとポイント・ツー・マスクのブランチを備えたFCNベースのアーキテクチャを採用している。 そこで本研究では,キー・ツー・マスク・ブランチを駆動し,より正確なセグメンテーション予測を生成するキー・ピクセル・アソシエーション・ロスとキー・ピクセル・アソシエーション・ロスを提案する。
  論文  参考訳（メタデータ） (2023-11-16T11:48:29Z)
• Synthetic Instance Segmentation from Semantic Image Segmentation Masks [15.477053085267404]
  我々は、Synthetic Instance(SISeg)と呼ばれる新しいパラダイムを提案する。 SISegインスタンスセグメンテーションの結果は、既存のセマンティックセグメンテーションモデルによって生成されたイメージマスクを活用する。 言い換えれば、提案モデルは余分な人力や高い計算コストを必要としない。
  論文  参考訳（メタデータ） (2023-08-02T05:13:02Z)
• A Simple Framework for Open-Vocabulary Segmentation and Detection [85.21641508535679]
  我々は,異なるセグメンテーションと検出データセットから共同で学習する,シンプルなオープン語彙検出フレームワークOpenSeeDを提案する。 まず、事前学習されたテキストエンコーダを導入し、視覚概念を2つのタスクにエンコードし、それらの共通意味空間を学習する。 プレトレーニング後,本モデルでは,セグメンテーションと検出の両方において,競争力あるいは強いゼロショット転送性を示す。
  論文  参考訳（メタデータ） (2023-03-14T17:58:34Z)
• Scribble-Supervised Medical Image Segmentation via Dual-Branch Network and Dynamically Mixed Pseudo Labels Supervision [15.414578073908906]
  単純で効率的なスクリブル教師付き画像分割法を提案し,それを心臓MRIセグメント化に適用する。 このスクリブル・インスペクションと補助擬似ラベル・インスペクションを組み合わせることで、デュアルブランチ・ネットワークは、スクリブル・アノテーションからエンドツーエンドまで効率的に学習することができる。
  論文  参考訳（メタデータ） (2022-03-04T02:50:30Z)
• FreeSOLO: Learning to Segment Objects without Annotations [191.82134817449528]
  我々は,単純なインスタンスセグメンテーションメソッドSOLO上に構築された自己教師型インスタンスセグメンテーションフレームワークであるFreeSOLOを紹介する。 また,本手法では,複雑なシーンからオブジェクトを教師なしで検出する,新たなローカライズ対応事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-24T16:31:44Z)
• TraSeTR: Track-to-Segment Transformer with Contrastive Query for Instance-level Instrument Segmentation in Robotic Surgery [60.439434751619736]
  そこで我々は,TraSeTRを提案する。TraSeTR,TraSeTR,Trace-to-Segment Transformerは,手術器具のセグメンテーションを支援する。 TraSeTRは、機器の種類、位置、アイデンティティとインスタンスレベルの予測を共同で理由付けている。 提案手法の有効性を,3つの公開データセットに対して,最先端の計器型セグメンテーション結果を用いて実証した。
  論文  参考訳（メタデータ） (2022-02-17T05:52:18Z)
• FUN-SIS: a Fully UNsupervised approach for Surgical Instrument Segmentation [16.881624842773604]
  FUN-SISについて述べる。 我々は、暗黙の動作情報と楽器形状に依存して、完全に装飾されていない内視鏡ビデオに基づいてフレーム単位のセグメンテーションモデルを訓練する。 手術器具のセグメンテーションの完全教師なしの結果は, 完全に監督された最先端のアプローチとほぼ同等である。
  論文  参考訳（メタデータ） (2022-02-16T15:32:02Z)
• Unsupervised Semantic Segmentation by Contrasting Object Mask Proposals [78.12377360145078]
  画素埋め込みを学習するために、コントラスト最適化の目的として、予め決められた事前を取り入れた新しい2段階フレームワークを導入する。 これは、プロキシタスクやエンドツーエンドのクラスタリングに依存する既存の作業から大きく逸脱している。 特に、PASCALでラベル付き例の1%だけを用いて学習した表現を微調整すると、7.1% mIoUで教師付き ImageNet の事前トレーニングを上回ります。
  論文  参考訳（メタデータ） (2021-02-11T18:54:47Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。