論文の概要: LACOSTE: Exploiting stereo and temporal contexts for surgical instrument segmentation
- arxiv url: http://arxiv.org/abs/2409.09360v2
- Date: Mon, 30 Sep 2024 06:08:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 22:01:15.343995
- Title: LACOSTE: Exploiting stereo and temporal contexts for surgical instrument segmentation
- Title（参考訳）: 手術機器セグメンテーションにおけるステレオ・時間的文脈の展開
- Authors: Qiyuan Wang, Shang Zhao, Zikang Xu, S Kevin Zhou,
- Abstract要約: ステレオ画像とテンポラル画像の位置情報を併用した新しいLACOSTEモデルを提案し,手術器具のセグメンテーションを改善した。
我々は3つの公開手術ビデオデータセットに対するアプローチを広範囲に検証した。
- 参考スコア（独自算出の注目度）: 14.152207010509763
- License:
- Abstract: Surgical instrument segmentation is instrumental to minimally invasive surgeries and related applications. Most previous methods formulate this task as single-frame-based instance segmentation while ignoring the natural temporal and stereo attributes of a surgical video. As a result, these methods are less robust against the appearance variation through temporal motion and view change. In this work, we propose a novel LACOSTE model that exploits Location-Agnostic COntexts in Stereo and TEmporal images for improved surgical instrument segmentation. Leveraging a query-based segmentation model as core, we design three performance-enhancing modules. Firstly, we design a disparity-guided feature propagation module to enhance depth-aware features explicitly. To generalize well for even only a monocular video, we apply a pseudo stereo scheme to generate complementary right images. Secondly, we propose a stereo-temporal set classifier, which aggregates stereo-temporal contexts in a universal way for making a consolidated prediction and mitigates transient failures. Finally, we propose a location-agnostic classifier to decouple the location bias from mask prediction and enhance the feature semantics. We extensively validate our approach on three public surgical video datasets, including two benchmarks from EndoVis Challenges and one real radical prostatectomy surgery dataset GraSP. Experimental results demonstrate the promising performances of our method, which consistently achieves comparable or favorable results with previous state-of-the-art approaches.
- Abstract（参考訳）: 手術器具のセグメンテーションは、最小侵襲の手術と関連する応用に役立つ。
従来の方法では、このタスクを単一フレームベースのインスタンスセグメンテーションとして定式化し、外科的ビデオの自然な時間的特性やステレオ属性を無視した。
その結果、時間的動きや視点の変化による外観変化に対して、これらの手法はより堅牢である。
そこで本研究では,ステレオ画像とテンポラル画像における位置非依存コネクトを利用した新しいLACOSTEモデルを提案し,手術器具のセグメンテーションを改善した。
クエリベースのセグメンテーションモデルをコアとして活用し、3つのパフォーマンス向上モジュールを設計する。
まず,不均一誘導型特徴伝搬モジュールを設計し,奥行き認識機能を明確に向上させる。
モノクロビデオのみに対してさえもうまく一般化するために、擬似ステレオスキームを適用して補完的な右画像を生成する。
第2に,統合された予測を行い,過渡的故障を緩和する普遍的な方法で,ステレオ時間文脈を集約するステレオ時間集合分類器を提案する。
最後に、マスク予測から位置バイアスを分離し、特徴セマンティクスを強化する位置認識型分類器を提案する。
われわれは,EndoVis Challengesの2つのベンチマークと1つの根治的前立腺切除術データセットGraSPを含む3つの公開手術ビデオデータセットに対するアプローチを広範囲に検証した。
実験により提案手法の有望な性能を実証し, 従来手法と同等あるいは好意的な結果が得られることを示した。
関連論文リスト
- Surgical Triplet Recognition via Diffusion Model [59.50938852117371]
外科的三重項認識は、次世代のコンテキスト対応手術室を実現するために必要不可欠なビルディングブロックである。
拡散モデルを用いた外科的三重項認識のための新しい生成フレームワークであるDifftを提案する。
CholecT45とColecT50データセットの実験は、手術用三重項認識のための新しい最先端性能を達成する上で、提案手法の優位性を示している。
論文 参考訳（メタデータ） (2024-06-19T04:43:41Z) - Pixel-Wise Recognition for Holistic Surgical Scene Understanding [31.338288460529046]
本稿では,前立腺腫 (GraSP) データセットについて述べる。
GraSPは、外科的シーン理解を、様々なレベルの粒度の相補的なタスクの階層としてモデル化した、キュレートされたベンチマークである。
本稿では,グローバルビデオ特徴抽出器と局所領域の提案を組み合わせた汎用アーキテクチャであるTransformers for Actions, Phases, Steps, and Instruments(TAPIS)モデルを紹介する。
論文 参考訳（メタデータ） (2024-01-20T09:09:52Z) - Visual-Kinematics Graph Learning for Procedure-agnostic Instrument Tip
Segmentation in Robotic Surgeries [29.201385352740555]
そこで我々は,様々な外科手術を施した楽器の先端を正確に分類する新しいビジュアル・キネマティクスグラフ学習フレームワークを提案する。
具体的には、画像とキネマティクスの両方から楽器部品のリレーショナル特徴を符号化するグラフ学習フレームワークを提案する。
クロスモーダル・コントラッシブ・ロスは、キネマティクスからチップセグメンテーションのイメージへの頑健な幾何学的先行を組み込むように設計されている。
論文 参考訳（メタデータ） (2023-09-02T14:52:58Z) - GLSFormer : Gated - Long, Short Sequence Transformer for Step
Recognition in Surgical Videos [57.93194315839009]
本稿では,シーケンスレベルのパッチから時間的特徴を直接学習するための視覚変換器に基づくアプローチを提案する。
本研究では,白内障手術用ビデオデータセットである白内障-101とD99に対するアプローチを広範に評価し,各種の最先端手法と比較して優れた性能を示した。
論文 参考訳（メタデータ） (2023-07-20T17:57:04Z) - Pseudo-label Guided Cross-video Pixel Contrast for Robotic Surgical
Scene Segmentation with Limited Annotations [72.15956198507281]
シーンセグメンテーションを促進するために,新しい擬似ラベル付きクロスビデオコントラスト学習法であるPGV-CLを提案する。
本研究では,ロボット外科手術データセットEndoVis18と白内障手術データセットCaDISについて検討した。
論文 参考訳（メタデータ） (2022-07-20T05:42:19Z) - TraSeTR: Track-to-Segment Transformer with Contrastive Query for
Instance-level Instrument Segmentation in Robotic Surgery [60.439434751619736]
そこで我々は,TraSeTRを提案する。TraSeTR,TraSeTR,Trace-to-Segment Transformerは,手術器具のセグメンテーションを支援する。
TraSeTRは、機器の種類、位置、アイデンティティとインスタンスレベルの予測を共同で理由付けている。
提案手法の有効性を,3つの公開データセットに対して,最先端の計器型セグメンテーション結果を用いて実証した。
論文 参考訳（メタデータ） (2022-02-17T05:52:18Z) - FUN-SIS: a Fully UNsupervised approach for Surgical Instrument
Segmentation [16.881624842773604]
FUN-SISについて述べる。
我々は、暗黙の動作情報と楽器形状に依存して、完全に装飾されていない内視鏡ビデオに基づいてフレーム単位のセグメンテーションモデルを訓練する。
手術器具のセグメンテーションの完全教師なしの結果は, 完全に監督された最先端のアプローチとほぼ同等である。
論文 参考訳（メタデータ） (2022-02-16T15:32:02Z) - ISINet: An Instance-Based Approach for Surgical Instrument Segmentation [0.0]
ロボット支援手術シーンにおける手術器具の意味的セグメンテーションの課題について検討する。
我々は、インスタンスベースのセグメンテーションの観点から、このタスクに対処するISINetを提案する。
以上の結果から, ISINetは最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2020-07-10T16:20:56Z) - Learning Motion Flows for Semi-supervised Instrument Segmentation from
Robotic Surgical Video [64.44583693846751]
本研究は,スパースアノテーションを用いたロボット手術ビデオから半教師楽器のセグメンテーションについて検討する。
生成されたデータペアを利用することで、我々のフレームワークはトレーニングシーケンスの時間的一貫性を回復し、強化することができます。
その結果,本手法は最先端の半教師あり手法よりも大きなマージンで優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-06T02:39:32Z) - Robust Medical Instrument Segmentation Challenge 2019 [56.148440125599905]
腹腔鏡装置の術中追跡は、しばしばコンピュータとロボットによる介入の必要条件である。
本研究の課題は,30の手術症例から取得した10,040枚の注釈画像からなる外科的データセットに基づいていた。
結果は、初期仮説、すなわち、アルゴリズムの性能がドメインギャップの増大とともに低下することを確認する。
論文 参考訳（メタデータ） (2020-03-23T14:35:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。