Fugu-MT 論文翻訳(概要): Think Step by Step: Chain-of-Gesture Prompting for Error Detection in Robotic Surgical Videos

論文の概要: Think Step by Step: Chain-of-Gesture Prompting for Error Detection in Robotic Surgical Videos

arxiv url: http://arxiv.org/abs/2406.19217v1
Date: Thu, 27 Jun 2024 14:43:50 GMT
ステータス: 処理完了
システム内更新日: 2024-06-28 13:58:17.800572
Title: Think Step by Step: Chain-of-Gesture Prompting for Error Detection in Robotic Surgical Videos
Title（参考訳）: ステップ・バイ・ステップ:ロボット手術ビデオにおける誤り検出のためのジェスチャーの連鎖プロンプト
Authors: Zhimin Shao, Jialang Xu, Danail Stoyanov, Evangelos B. Mazomenos, Yueming Jin,
Abstract要約: このレターでは、新しいエンドツーエンドエラー検出フレームワークであるChain-of-Thought(COG)のプロンプトを提示する。これは、専門家外科医の意思決定プロセスを模倣するために設計された2つの推論モジュールを含んでいる。本手法は,F1スコアの4.6%,精度の4.6%,ジャカード指数の5.9%,各フレームを平均6.69ミリ秒で処理しながら,外科的活動に固有の推論過程をカプセル化する。
参考スコア（独自算出の注目度）: 18.106255939686545
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite significant advancements in robotic systems and surgical data science, ensuring safe and optimal execution in robot-assisted minimally invasive surgery (RMIS) remains a complex challenge. Current surgical error detection methods involve two parts: identifying surgical gestures and then detecting errors within each gesture clip. These methods seldom consider the rich contextual and semantic information inherent in surgical videos, limiting their performance due to reliance on accurate gesture identification. Motivated by the chain-of-thought prompting in natural language processing, this letter presents a novel and real-time end-to-end error detection framework, Chain-of-Thought (COG) prompting, leveraging contextual information from surgical videos. This encompasses two reasoning modules designed to mimic the decision-making processes of expert surgeons. Concretely, we first design a Gestural-Visual Reasoning module, which utilizes transformer and attention architectures for gesture prompting, while the second, a Multi-Scale Temporal Reasoning module, employs a multi-stage temporal convolutional network with both slow and fast paths for temporal information extraction. We extensively validate our method on the public benchmark RMIS dataset JIGSAWS. Our method encapsulates the reasoning processes inherent to surgical activities enabling it to outperform the state-of-the-art by 4.6% in F1 score, 4.6% in Accuracy, and 5.9% in Jaccard index while processing each frame in 6.69 milliseconds on average, demonstrating the great potential of our approach in enhancing the safety and efficacy of RMIS procedures and surgical education. The code will be available.
Abstract（参考訳）: ロボットシステムと外科データ科学の進歩にもかかわらず、ロボットによる最小侵襲手術(RMIS)の安全かつ最適な実行を保証することは難しい課題である。現在の外科的誤り検出方法は、外科的ジェスチャーを識別し、各ジェスチャークリップ内のエラーを検出する2つの部分を含む。これらの手法は、手術ビデオに固有のコンテキスト情報や意味情報を豊富に考慮することは滅多になく、正確なジェスチャー識別に依存するため、その性能を制限している。自然言語処理におけるチェーン・オブ・シークレットによって動機づけられたこの手紙は、外科的ビデオからコンテキスト情報を活用する、新しい、リアルタイムなエンドツーエンドエラー検出フレームワークであるChain-of-Thought(COG)を提示する。これは、専門家外科医の意思決定プロセスを模倣するために設計された2つの推論モジュールを含んでいる。具体的には、まず、ジェスチャーのプロンプトにトランスフォーマーとアテンションアーキテクチャを利用するGestural-Visual Reasoningモジュールを設計し、次に、マルチスケールのテンポラル推論モジュールであるGestural-Visual Reasoningモジュールは、時間的情報抽出のための遅い経路と速い経路の両方を持つ多段階の時間的畳み込みネットワークを使用する。我々は、RMISデータセットJIGSAWSの公開ベンチマークにおいて、我々の手法を広範囲に検証した。本手法は,術式固有の推論過程をカプセル化し,F1スコアの4.6%,精度の4.6%,Jaccardインデックスの5.9%を平均6.69ミリ秒で処理し,術式および術式教育の安全性と効果を高めるためのアプローチの可能性を示した。コードは利用可能です。

関連論文リスト

Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation [51.222684687924215]
手術用ビデオ言語事前学習は、知識領域のギャップとマルチモーダルデータの不足により、独特な課題に直面している。本稿では,これらの課題に対処するために,階層的知識向上手法と新しい手術的知識向上型ビデオランゲージ事前学習フレームワークを提案する。
論文参考訳（メタデータ） (2024-09-30T22:21:05Z)
SEDMamba: Enhancing Selective State Space Modelling with Bottleneck Mechanism and Fine-to-Coarse Temporal Fusion for Efficient Error Detection in Robot-Assisted Surgery [7.863539113283565]
選択的状態空間モデル(SSM)を外科的誤り検出に組み込んだSEDMambaという新しい階層モデルを提案する。 SEDMambaは、長期ビデオにおける外科的エラーの検出と時間的局所化のために、ボトルネック機構と微細から粗い時間的融合(FCTF)を備えた選択的SSMを強化する。我々の研究は、実際の手術症例におけるエラー検出を支援するために、第一種、フレームレベル、生存中の外科的エラーデータセットにも貢献する。
論文参考訳（メタデータ） (2024-06-22T19:20:35Z)
SAR-RARP50: Segmentation of surgical instrumentation and Action Recognition on Robot-Assisted Radical Prostatectomy Challenge [72.97934765570069]
外科的動作認識と意味計測のセグメンテーションのための,最初のマルチモーダルなインビボデータセットを公開し,ロボット補助根治術(RARP)の50の縫合ビデオセグメントを収録した。この課題の目的は、提供されたデータセットのスケールを活用し、外科領域における堅牢で高精度なシングルタスクアクション認識とツールセグメンテーションアプローチを開発することである。合計12チームがこのチャレンジに参加し、7つのアクション認識方法、9つの計器のセグメンテーション手法、そしてアクション認識と計器のセグメンテーションを統合した4つのマルチタスクアプローチをコントリビュートした。
論文参考訳（メタデータ） (2023-12-31T13:32:18Z)
GLSFormer : Gated - Long, Short Sequence Transformer for Step Recognition in Surgical Videos [57.93194315839009]
本稿では,シーケンスレベルのパッチから時間的特徴を直接学習するための視覚変換器に基づくアプローチを提案する。本研究では,白内障手術用ビデオデータセットである白内障-101とD99に対するアプローチを広範に評価し,各種の最先端手法と比較して優れた性能を示した。
論文参考訳（メタデータ） (2023-07-20T17:57:04Z)
LoViT: Long Video Transformer for Surgical Phase Recognition [59.06812739441785]
短時間・長期の時間情報を融合する2段階のLong Video Transformer(LoViT)を提案する。このアプローチは、Colec80とAutoLaparoデータセットの最先端メソッドを一貫して上回る。
論文参考訳（メタデータ） (2023-05-15T20:06:14Z)
CholecTriplet2021: A benchmark challenge for surgical action triplet recognition [66.51610049869393]
腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。 4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
論文参考訳（メタデータ） (2022-04-10T18:51:55Z)
Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文参考訳（メタデータ） (2020-11-03T11:00:10Z)
Symmetric Dilated Convolution for Surgical Gesture Recognition [10.699258974625073]
外科的ジェスチャーを自動的に検出・分節する新しい時間的畳み込みアーキテクチャを提案する。本研究では,長期時間パターンを符号化・復号化するために,自己アテンションモジュールでブリッジされた対称的拡張構造を用いて手法を考案する。 JIGSAWSデータセットからの基本的なロボット縫合タスクに対するアプローチを検証する。
論文参考訳（メタデータ） (2020-07-13T13:34:48Z)
TeCNO: Surgical Phase Recognition with Multi-Stage Temporal Convolutional Networks [43.95869213955351]
外科的位相認識のための階層的予測補正を行う多段階時間畳み込みネットワーク(MS-TCN)を提案する。本手法は腹腔鏡下胆嚢摘出術ビデオの2つのデータセットに対して,追加の外科的ツール情報を用いずに徹底的に評価した。
論文参考訳（メタデータ） (2020-03-24T10:12:30Z)
Multi-Task Recurrent Neural Network for Surgical Gesture Recognition and Progress Prediction [17.63619129438996]
本稿では,手術動作の同時認識のためのマルチタスクリカレントニューラルネットワークを提案する。マルチタスクフレームワークでは,手作業によるラベリングやトレーニングを伴わずに,進捗推定による認識性能が向上することが実証された。
論文参考訳（メタデータ） (2020-03-10T14:28:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。