Fugu-MT 論文翻訳(概要): Towards Surgical Context Inference and Translation to Gestures

論文の概要: Towards Surgical Context Inference and Translation to Gestures

arxiv url: http://arxiv.org/abs/2302.14237v1
Date: Tue, 28 Feb 2023 01:39:36 GMT
ステータス: 処理完了
システム内更新日: 2023-03-01 18:34:42.011506
Title: Towards Surgical Context Inference and Translation to Gestures
Title（参考訳）: 外科的文脈推論とジェスチャーへの翻訳に向けて
Authors: Kay Hutchinson, Zongyu Li, Ian Reyes, Homa Alemzadeh
Abstract要約: ロボット支援手術におけるジェスチャーのマニュアルラベリングは、労働集約的であり、エラーを起こしやすく、専門知識や訓練を必要とする。本稿では,ジェスチャー書き起こしの自動生成手法を提案する。
参考スコア（独自算出の注目度）: 1.858151490268935
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Manual labeling of gestures in robot-assisted surgery is labor intensive, prone to errors, and requires expertise or training. We propose a method for automated and explainable generation of gesture transcripts that leverages the abundance of data for image segmentation to train a surgical scene segmentation model that provides surgical tool and object masks. Surgical context is detected using segmentation masks by examining the distances and intersections between the tools and objects. Next, context labels are translated into gesture transcripts using knowledge-based Finite State Machine (FSM) and data-driven Long Short Term Memory (LSTM) models. We evaluate the performance of each stage of our method by comparing the results with the ground truth segmentation masks, the consensus context labels, and the gesture labels in the JIGSAWS dataset. Our results show that our segmentation models achieve state-of-the-art performance in recognizing needle and thread in Suturing and we can automatically detect important surgical states with high agreement with crowd-sourced labels (e.g., contact between graspers and objects in Suturing). We also find that the FSM models are more robust to poor segmentation and labeling performance than LSTMs. Our proposed method can significantly shorten the gesture labeling process (~2.8 times).
Abstract（参考訳）: ロボット支援手術におけるジェスチャーのマニュアルラベリングは、労働集約的であり、エラーを起こしやすく、専門知識や訓練を必要とする。本稿では,画像セグメント化のためのデータ量の多さを利用して,手術用ツールとオブジェクトマスクを提供する手術シーンセグメント化モデルを訓練するジェスチャーテキストの自動生成手法を提案する。ツールとオブジェクト間の距離と交差点を調べることにより,セグメンテーションマスクを用いて外科的コンテキストを検出する。次に、コンテキストラベルを知識ベース有限状態機械(FSM)とデータ駆動長短項メモリ(LSTM)モデルを用いてジェスチャーの書き起こしに変換する。本研究では,提案手法の各段階の性能を,JIGSAWSデータセットの基底真理セグメンテーションマスク,コンセンサスコンテキストラベル,ジェスチャーラベルと比較することによって評価する。以上の結果から,サチューリングにおける針と糸の認識において,我々のセグメンテーションモデルは,クラウドソースラベル(サチューリングにおける把握者とオブジェクト間の接触など)と高い一致で重要な手術状態を自動検出できることが示唆された。また, FSMモデルはLSTMよりも, セグメンテーションやラベル付け性能に優れていた。提案手法は,ジェスチャラベリングプロセスを大幅に短縮できる(2.8倍)。

関連論文リスト

Surgical-DeSAM: Decoupling SAM for Instrument Segmentation in Robotic Surgery [9.466779367920049]
安全クリティカルな外科的タスクでは、教師あり学習のためのフレーム単位のプロンプトが欠如しているため、プロンプトは不可能である。リアルタイムトラッキングアプリケーションのフレーム単位でのプロンプトは非現実的であり,オフラインアプリケーションのアノテートには費用がかかる。実時間ロボット手術において,SAMを分離するための自動バウンディングボックスプロンプトを生成するために,手術用デSAMを開発した。
論文参考訳（メタデータ） (2024-04-22T09:53:55Z)
Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
論文参考訳（メタデータ） (2024-03-02T10:03:21Z)
PWISeg: Point-based Weakly-supervised Instance Segmentation for Surgical Instruments [27.89003436883652]
我々はPWISeg (Point-based Weakly-supervised Instance) という,弱制御型手術器具セグメンテーション手法を提案する。 PWISegは、特徴点とバウンディングボックスの関係をモデル化するために、ポイント・ツー・ボックスとポイント・ツー・マスクのブランチを備えたFCNベースのアーキテクチャを採用している。そこで本研究では,キー・ツー・マスク・ブランチを駆動し,より正確なセグメンテーション予測を生成するキー・ピクセル・アソシエーション・ロスとキー・ピクセル・アソシエーション・ロスを提案する。
論文参考訳（メタデータ） (2023-11-16T11:48:29Z)
Robotic Scene Segmentation with Memory Network for Runtime Surgical Context Inference [8.600278838838163]
Space Time Cor correspondingence Network (STCN) は、二分セグメンテーションを行い、クラス不均衡の影響を最小限に抑えるメモリネットワークである。針や糸などのセグメント化が困難なオブジェクトに対して,STCNが優れたセグメンテーション性能を実現することを示す。また,性能を損なうことなく,実行時にセグメンテーションとコンテキスト推論を実行できることを示す。
論文参考訳（メタデータ） (2023-08-24T13:44:55Z)
Data-Limited Tissue Segmentation using Inpainting-Based Self-Supervised Learning [3.7931881761831328]
プレテキストタスクを含む自己教師付き学習(SSL)メソッドは、ラベルなしデータを使用したモデルの最初の事前トレーニングによって、この要件を克服する可能性を示している。ラベル限定シナリオにおけるCTとMRI画像のセグメンテーションにおける2つのSSL手法の有効性を評価する。最適に訓練され,実装が容易なSSLセグメンテーションモデルは,ラベル制限シナリオにおけるMRIおよびCT組織セグメンテーションの古典的な手法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-10-14T16:34:05Z)
Pseudo-label Guided Cross-video Pixel Contrast for Robotic Surgical Scene Segmentation with Limited Annotations [72.15956198507281]
シーンセグメンテーションを促進するために,新しい擬似ラベル付きクロスビデオコントラスト学習法であるPGV-CLを提案する。本研究では,ロボット外科手術データセットEndoVis18と白内障手術データセットCaDISについて検討した。
論文参考訳（メタデータ） (2022-07-20T05:42:19Z)
TraSeTR: Track-to-Segment Transformer with Contrastive Query for Instance-level Instrument Segmentation in Robotic Surgery [60.439434751619736]
そこで我々は,TraSeTRを提案する。TraSeTR,TraSeTR,Trace-to-Segment Transformerは,手術器具のセグメンテーションを支援する。 TraSeTRは、機器の種類、位置、アイデンティティとインスタンスレベルの予測を共同で理由付けている。提案手法の有効性を,3つの公開データセットに対して,最先端の計器型セグメンテーション結果を用いて実証した。
論文参考訳（メタデータ） (2022-02-17T05:52:18Z)
FUN-SIS: a Fully UNsupervised approach for Surgical Instrument Segmentation [16.881624842773604]
FUN-SISについて述べる。我々は、暗黙の動作情報と楽器形状に依存して、完全に装飾されていない内視鏡ビデオに基づいてフレーム単位のセグメンテーションモデルを訓練する。手術器具のセグメンテーションの完全教師なしの結果は, 完全に監督された最先端のアプローチとほぼ同等である。
論文参考訳（メタデータ） (2022-02-16T15:32:02Z)
Leveraging Auxiliary Tasks with Affinity Learning for Weakly Supervised Semantic Segmentation [88.49669148290306]
そこで我々はAuxSegNetと呼ばれる弱教師付きマルチタスク・フレームワークを提案し,サリエンシ検出とマルチラベル画像分類を補助タスクとして活用する。同様の構造的セマンティクスに着想を得て,サリエンシとセグメンテーションの表現から,クロスタスクなグローバル画素レベルの親和性マップを学習することを提案する。学習されたクロスタスク親和性は、両方のタスクに対して改善された擬似ラベルを提供するために、唾液度予測を洗練し、CAMマップを伝播するために使用することができる。
論文参考訳（メタデータ） (2021-07-25T11:39:58Z)
Co-Generation and Segmentation for Generalized Surgical Instrument Segmentation on Unlabelled Data [49.419268399590045]
正確な機器追跡と拡張現実オーバーレイには、ロボット支援手術のための外科用機器セグメンテーションが必要です。深層学習法では手術器具のセグメンテーションに最先端のパフォーマンスが示されたが,結果はラベル付きデータに依存する。本稿では,ロボットによる手術を含むさまざまなデータセット上で,これらの手法の限定的な一般化性を実証する。
論文参考訳（メタデータ） (2021-03-16T18:41:18Z)
Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文参考訳（メタデータ） (2020-11-03T11:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。