論文の概要: SR-Mamba: Effective Surgical Phase Recognition with State Space Model
- arxiv url: http://arxiv.org/abs/2407.08333v1
- Date: Thu, 11 Jul 2024 09:34:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 18:09:27.565872
- Title: SR-Mamba: Effective Surgical Phase Recognition with State Space Model
- Title(参考訳): SR-Mamba:状態空間モデルを用いた効果的な外科的位相認識
- Authors: Rui Cao, Jiangliu Wang, Yun-Hui Liu,
- Abstract要約: SR-マンバ(SR-Mamba)は、外科的位相認識の課題を満たすために特別に設計された、新しい無注意モデルである。
SR-Mambaでは、双方向のMambaデコーダを用いて、時間的コンテキストをオーバーロングシーケンスで効果的にモデル化する。
SR-Mambaは、Colec80とCATARACTS Challengeデータセットで最先端のパフォーマンスを示すことによって、外科的ビデオ分析の新たなベンチマークを確立する。
- 参考スコア(独自算出の注目度): 42.766718651973726
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Surgical phase recognition is crucial for enhancing the efficiency and safety of computer-assisted interventions. One of the fundamental challenges involves modeling the long-distance temporal relationships present in surgical videos. Inspired by the recent success of Mamba, a state space model with linear scalability in sequence length, this paper presents SR-Mamba, a novel attention-free model specifically tailored to meet the challenges of surgical phase recognition. In SR-Mamba, we leverage a bidirectional Mamba decoder to effectively model the temporal context in overlong sequences. Moreover, the efficient optimization of the proposed Mamba decoder facilitates single-step neural network training, eliminating the need for separate training steps as in previous works. This single-step training approach not only simplifies the training process but also ensures higher accuracy, even with a lighter spatial feature extractor. Our SR-Mamba establishes a new benchmark in surgical video analysis by demonstrating state-of-the-art performance on the Cholec80 and CATARACTS Challenge datasets. The code is accessible at https://github.com/rcao-hk/SR-Mamba.
- Abstract(参考訳): 外科的位相認識は、コンピュータによる介入の効率性と安全性を高めるために重要である。
基本的な課題の1つは、手術ビデオに存在する長距離時間関係をモデル化することである。
本論文は, 連続長の線形拡張性を持つ状態空間モデルであるMambaの成功に触発されて, 外科的位相認識の課題に合わせた, 新たな注意のないモデルSR-Mambaを提案する。
SR-Mambaでは、双方向のMambaデコーダを用いて、時間的コンテキストをオーバーロングシーケンスで効果的にモデル化する。
さらに、提案したMambaデコーダの効率的な最適化により、シングルステップのニューラルネットワークトレーニングが容易になり、以前の作業のように個別のトレーニングステップが不要になる。
この単一ステップのトレーニングアプローチは、トレーニングプロセスを単純化するだけでなく、より軽い空間特徴抽出器でも高い精度を確保する。
我々のSR-Mambaは、Colec80およびCATARACTS Challengeデータセットの最先端性能を示すことによって、外科的ビデオ解析の新たなベンチマークを確立した。
コードはhttps://github.com/rcao-hk/SR-Mambaでアクセスできる。
関連論文リスト
- Soft Masked Mamba Diffusion Model for CT to MRI Conversion [7.973480052235655]
磁気共鳴イメージング (MRI) とCT (CT) は, 医用画像の分野で主に用いられている。
本研究では,一般的に使用されているU-NetあるいはTransformerのバックボーンを,潜時パッチで動作するMambaと呼ばれる状態空間モデル(SSM)に置き換え,CTからMRIへの遅延拡散モデルを訓練することを目的とする。
論文 参考訳(メタデータ) (2024-06-22T18:06:50Z) - DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。
DeciMambaは、トレーニング中に見たものよりも25倍長く、余分な計算資源を使わずに、コンテキスト長を外挿できることを示す。
論文 参考訳(メタデータ) (2024-06-20T17:40:18Z) - Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification [4.389334324926174]
本研究では、このタスクにステートスペースモデル(SSM)をデプロイする最初の試みである、HSI分類のための革新的なMamba-in-Mamba(MiM)アーキテクチャを紹介する。
MiMモデルには,1)イメージをシーケンスデータに変換する新しい集中型Mamba-Cross-Scan(MCS)機構,2)Tokenized Mamba(T-Mamba)エンコーダ,3)Weighted MCS Fusion(WMF)モジュールが含まれる。
3つの公開HSIデータセットによる実験結果から,本手法は既存のベースラインや最先端アプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2024-05-20T13:19:02Z) - Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。
より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。
我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
論文 参考訳(メタデータ) (2024-05-08T11:09:24Z) - Rotate to Scan: UNet-like Mamba with Triplet SSM Module for Medical Image Segmentation [8.686237221268584]
本稿では,新しいタイプの画像分割ネットワークとしてTriplet Mamba-UNetを提案する。
本モデルでは,従来のVM-UNetと比較してパラメータの3分の1の削減を実現している。
論文 参考訳(メタデータ) (2024-03-26T13:40:18Z) - Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。
Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-02-05T18:58:11Z) - GLSFormer : Gated - Long, Short Sequence Transformer for Step
Recognition in Surgical Videos [57.93194315839009]
本稿では,シーケンスレベルのパッチから時間的特徴を直接学習するための視覚変換器に基づくアプローチを提案する。
本研究では,白内障手術用ビデオデータセットである白内障-101とD99に対するアプローチを広範に評価し,各種の最先端手法と比較して優れた性能を示した。
論文 参考訳(メタデータ) (2023-07-20T17:57:04Z) - ST-MTL: Spatio-Temporal Multitask Learning Model to Predict Scanpath
While Tracking Instruments in Robotic Surgery [14.47768738295518]
トラッキング機器によるタスク指向の注意の学習は、画像誘導型ロボット手術において大きな可能性を秘めている。
本稿では,リアルタイムの手術機器分割とタスク指向唾液度検出のための共有エンコーダとシンク時デコーダを用いたエンドツーエンドマルチタスク学習(ST-MTL)モデルを提案する。
本稿では,各デコーダの独立勾配を計算することで,非同期時間最適化手法を提案する。
最先端のセグメンテーションとサリエンシ手法と比較して、我々のモデルは評価指標よりも優れており、挑戦において優れた性能を生んでいる。
論文 参考訳(メタデータ) (2021-12-10T15:20:27Z) - STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。
実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文 参考訳(メタデータ) (2021-07-15T02:53:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。