論文の概要: Robotic Scene Segmentation with Memory Network for Runtime Surgical
Context Inference
- arxiv url: http://arxiv.org/abs/2308.12789v1
- Date: Thu, 24 Aug 2023 13:44:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-25 13:58:21.855088
- Title: Robotic Scene Segmentation with Memory Network for Runtime Surgical
Context Inference
- Title（参考訳）: 記憶ネットワークを用いた手術文脈推論のためのロボットシーンセグメンテーション
- Authors: Zongyu Li, Ian Reyes, Homa Alemzadeh
- Abstract要約: Space Time Cor correspondingence Network (STCN) は、二分セグメンテーションを行い、クラス不均衡の影響を最小限に抑えるメモリネットワークである。
針や糸などのセグメント化が困難なオブジェクトに対して,STCNが優れたセグメンテーション性能を実現することを示す。
また,性能を損なうことなく,実行時にセグメンテーションとコンテキスト推論を実行できることを示す。
- 参考スコア（独自算出の注目度）: 8.600278838838163
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Surgical context inference has recently garnered significant attention in
robot-assisted surgery as it can facilitate workflow analysis, skill
assessment, and error detection. However, runtime context inference is
challenging since it requires timely and accurate detection of the interactions
among the tools and objects in the surgical scene based on the segmentation of
video data. On the other hand, existing state-of-the-art video segmentation
methods are often biased against infrequent classes and fail to provide
temporal consistency for segmented masks. This can negatively impact the
context inference and accurate detection of critical states. In this study, we
propose a solution to these challenges using a Space Time Correspondence
Network (STCN). STCN is a memory network that performs binary segmentation and
minimizes the effects of class imbalance. The use of a memory bank in STCN
allows for the utilization of past image and segmentation information, thereby
ensuring consistency of the masks. Our experiments using the publicly available
JIGSAWS dataset demonstrate that STCN achieves superior segmentation
performance for objects that are difficult to segment, such as needle and
thread, and improves context inference compared to the state-of-the-art. We
also demonstrate that segmentation and context inference can be performed at
runtime without compromising performance.
- Abstract（参考訳）: 外科的コンテキスト推論は、ワークフロー分析、スキルアセスメント、エラー検出を容易にするロボット支援手術において、近年大きな注目を集めている。
しかし,映像データのセグメンテーションに基づく手術場面におけるツールとオブジェクト間のインタラクションを時間的かつ正確に検出する必要があるため,実行時のコンテキスト推論は困難である。
一方、既存の最先端ビデオセグメンテーション手法は、しばしば頻度の低いクラスに偏りがあり、セグメンテーションマスクの時間的一貫性が得られない。
これは、文脈推測と臨界状態の正確な検出に悪影響を及ぼす可能性がある。
本研究では,時空間対応ネットワーク(STCN)を用いて,これらの課題に対する解決策を提案する。
STCNはバイナリセグメンテーションを実行し、クラス不均衡の影響を最小限にするメモリネットワークである。
STCNにおけるメモリバンクの使用により、過去の画像とセグメンテーション情報の利用が可能となり、マスクの一貫性が確保される。
公開されているJIGSAWSデータセットを用いた実験により,針や糸などのセグメント化が困難なオブジェクトに対して,STCNが優れたセグメンテーション性能を達成し,最先端技術と比較してコンテキスト推論を改善することが示された。
また,性能を損なうことなく,実行時にセグメンテーションとコンテキスト推論を実行できることを示す。
関連論文リスト
- Disentangling spatio-temporal knowledge for weakly supervised object detection and segmentation in surgical video [10.287675722826028]
本稿では,セミデカップリング型時間的知識蒸留を用いて,高品質なクラスアクティベーションマップ(CAM)の予測を行うために,VDST-Net(Video Spatio-Temporal Disment Networks)を導入している。
提案するフレームワークは,一般的な参照データセットや,オブジェクトが平均60%未満の注釈付きフレームに存在する,より困難な手術用ビデオデータセット上で有効であることを示す。
論文 参考訳（メタデータ） (2024-07-22T16:52:32Z) - OoDIS: Anomaly Instance Segmentation Benchmark [57.89836988990543]
我々は、最もよく使われる異常セグメンテーションベンチマークを拡張して、インスタンスセグメンテーションタスクを含める。
この分野の開発は遅れており、主に専用のベンチマークがないためである。
異常なインスタンスセグメンテーション手法の評価は、この課題が未解決の問題のままであることを示している。
論文 参考訳（メタデータ） (2024-06-17T17:59:56Z) - Visual Context-Aware Person Fall Detection [52.49277799455569]
画像中の個人とオブジェクトを半自動分離するセグメンテーションパイプラインを提案する。
ベッド、椅子、車椅子などの背景オブジェクトは、転倒検知システムに挑戦し、誤ったポジティブアラームを引き起こす。
トレーニング中のオブジェクト固有のコンテキスト変換が、この課題を効果的に軽減することを示す。
論文 参考訳（メタデータ） (2024-04-11T19:06:36Z) - RISeg: Robot Interactive Object Segmentation via Body Frame-Invariant
Features [6.358423536732677]
本稿では,ロボットインタラクションとデザインされたボディーフレーム不変機能を用いて,不正確なセグメンテーションを補正する新しい手法を提案する。
オブジェクト分割精度を平均80.7%とすることで、散らばったシーンを正確にセグメント化するための対話型知覚パイプラインの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-04T05:03:24Z) - PWISeg: Point-based Weakly-supervised Instance Segmentation for Surgical
Instruments [27.89003436883652]
我々はPWISeg (Point-based Weakly-supervised Instance) という,弱制御型手術器具セグメンテーション手法を提案する。
PWISegは、特徴点とバウンディングボックスの関係をモデル化するために、ポイント・ツー・ボックスとポイント・ツー・マスクのブランチを備えたFCNベースのアーキテクチャを採用している。
そこで本研究では,キー・ツー・マスク・ブランチを駆動し,より正確なセグメンテーション予測を生成するキー・ピクセル・アソシエーション・ロスとキー・ピクセル・アソシエーション・ロスを提案する。
論文 参考訳（メタデータ） (2023-11-16T11:48:29Z) - Towards Surgical Context Inference and Translation to Gestures [1.858151490268935]
ロボット支援手術におけるジェスチャーのマニュアルラベリングは、労働集約的であり、エラーを起こしやすく、専門知識や訓練を必要とする。
本稿では,ジェスチャー書き起こしの自動生成手法を提案する。
論文 参考訳（メタデータ） (2023-02-28T01:39:36Z) - TraSeTR: Track-to-Segment Transformer with Contrastive Query for
Instance-level Instrument Segmentation in Robotic Surgery [60.439434751619736]
そこで我々は,TraSeTRを提案する。TraSeTR,TraSeTR,Trace-to-Segment Transformerは,手術器具のセグメンテーションを支援する。
TraSeTRは、機器の種類、位置、アイデンティティとインスタンスレベルの予測を共同で理由付けている。
提案手法の有効性を,3つの公開データセットに対して,最先端の計器型セグメンテーション結果を用いて実証した。
論文 参考訳（メタデータ） (2022-02-17T05:52:18Z) - Temporally Constrained Neural Networks (TCNN): A framework for
semi-supervised video semantic segmentation [5.0754434714665715]
本稿では,手術ビデオのセマンティックセグメンテーションに使用される半教師付きフレームワークTCNNを紹介する。
本研究では,オートエンコーダネットワークを用いて,空間的および時間的監視信号の両方を効率的に提供できることを示す。
予測マスクの低次元表現を有効活用して,スパースラベル付き両方のデータセットに一貫した改善を実現することを実証した。
論文 参考訳（メタデータ） (2021-12-27T18:06:12Z) - RICE: Refining Instance Masks in Cluttered Environments with Graph
Neural Networks [53.15260967235835]
本稿では,インスタンスマスクのグラフベース表現を利用して,そのような手法の出力を改良する新しいフレームワークを提案する。
我々は、セグメンテーションにスマートな摂動をサンプリングできるディープネットワークと、オブジェクト間の関係をエンコード可能なグラフニューラルネットワークを訓練し、セグメンテーションを評価する。
本稿では,本手法によって生成された不確実性推定を用いてマニピュレータを誘導し,乱れたシーンを効率的に理解するアプリケーションについて紹介する。
論文 参考訳（メタデータ） (2021-06-29T20:29:29Z) - SegmentMeIfYouCan: A Benchmark for Anomaly Segmentation [111.61261419566908]
ディープニューラルネットワーク(DNN)は通常、閉集合のセマンティッククラスで訓練される。
未発見のオブジェクトを扱うには不備だ。
このような物体の検出と局在化は、自動運転の認識などの安全クリティカルなアプリケーションに不可欠です。
論文 参考訳（メタデータ） (2021-04-30T07:58:19Z) - Target-Aware Object Discovery and Association for Unsupervised Video
Multi-Object Segmentation [79.6596425920849]
本稿では,教師なしビデオマルチオブジェクトセグメンテーションの課題について述べる。
より正確で効率的な時間区分のための新しいアプローチを紹介します。
DAVIS$_17$とYouTube-VISに対する提案手法を評価した結果,セグメント化精度と推論速度の両方において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2021-04-10T14:39:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。