論文の概要: MuST: Multi-Scale Transformers for Surgical Phase Recognition

• arxiv url: http://arxiv.org/abs/2407.17361v1
• Date: Wed, 24 Jul 2024 15:38:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 13:25:07.072261
• Title: MuST: Multi-Scale Transformers for Surgical Phase Recognition
• Title（参考訳）: MuST: 外科用位相認識用マルチスケールトランス
• Authors: Alejandra Pérez, Santiago Rodríguez, Nicolás Ayobi, Nicolás Aparicio, Eugénie Dessevres, Pablo Arbeláez,
• Abstract要約: 手術ビデオにおける位相認識は,コンピュータ支援手術システムの強化に不可欠である。 既存の手法は、動的外科的位相を特定するためにビデオ解析のために固定時間窓に頼っていることが多い。 手術相認識のためのマルチスケールトランスフォーマー(MuST)を提案する。
• 参考スコア（独自算出の注目度）: 40.047145788604716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Phase recognition in surgical videos is crucial for enhancing computer-aided surgical systems as it enables automated understanding of sequential procedural stages. Existing methods often rely on fixed temporal windows for video analysis to identify dynamic surgical phases. Thus, they struggle to simultaneously capture short-, mid-, and long-term information necessary to fully understand complex surgical procedures. To address these issues, we propose Multi-Scale Transformers for Surgical Phase Recognition (MuST), a novel Transformer-based approach that combines a Multi-Term Frame encoder with a Temporal Consistency Module to capture information across multiple temporal scales of a surgical video. Our Multi-Term Frame Encoder computes interdependencies across a hierarchy of temporal scales by sampling sequences at increasing strides around the frame of interest. Furthermore, we employ a long-term Transformer encoder over the frame embeddings to further enhance long-term reasoning. MuST achieves higher performance than previous state-of-the-art methods on three different public benchmarks.
• Abstract（参考訳）: 外科的ビデオの位相認識は、シーケンシャルな手続き段階の自動理解を可能にするため、コンピュータ支援手術システムの強化に不可欠である。 既存の手法は、動的外科的位相を特定するためにビデオ解析のために固定時間窓に頼っていることが多い。 したがって、複雑な外科手術を十分に理解するのに必要な、短期、中期、長期の情報を同時に取得することは困難である。 これらの課題に対処するために,多項フレームエンコーダと時間整合モジュールを組み合わせた新しいトランスフォーマを用いた手術用位相認識用マルチスケールトランスフォーマを提案する。 我々のMulti-Term Frame Encoderは、時間スケールの階層をまたいだ相互依存性を計算する。 さらに,フレーム埋め込みに長期トランスフォーマーエンコーダを適用し,長期的推論をさらに強化する。 MuSTは、従来の3つの公開ベンチマークにおける最先端メソッドよりも高いパフォーマンスを達成する。

関連論文リスト

• Friends Across Time: Multi-Scale Action Segmentation Transformer for Surgical Phase Recognition [2.10407185597278]
  オフライン手術相認識のためのMS-AST(Multi-Scale Action Causal Transformer)とオンライン手術相認識のためのMS-ASCT(Multi-Scale Action Causal Transformer)を提案する。 オンラインおよびオフラインの外科的位相認識のためのColec80データセットでは,95.26%,96.15%の精度が得られる。
  論文  参考訳（メタデータ） (2024-01-22T01:34:03Z)
• SurgPLAN: Surgical Phase Localization Network for Phase Recognition [14.857715124466594]
  そこで我々は,より正確で安定した手術相認識を支援するために,SurgPLANと呼ばれる手術相ロカライズネットワークを提案する。 まず、フレームサンプリング率の異なる2つのブランチで複数スケールの空間的特徴と時間的特徴をキャプチャする視覚バックボーンとして、Praamid SlowFast (PSF) アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2023-11-16T15:39:01Z)
• Ring Attention with Blockwise Transformers for Near-Infinite Context [88.61687950039662]
  本稿では,複数のデバイスにまたがって長いシーケンスを分散するために,ブロックワイドな自己注意とフィードフォワードの計算を利用する,ブロックワイドトランスフォーマーを用いたリングアテンション(リングアテンション)を提案する。 提案手法では,先行メモリ効率の変換器で達成可能なものよりも,デバイス数倍のシーケンスのトレーニングと推論が可能となる。
  論文  参考訳（メタデータ） (2023-10-03T08:44:50Z)
• GLSFormer : Gated - Long, Short Sequence Transformer for Step Recognition in Surgical Videos [57.93194315839009]
  本稿では,シーケンスレベルのパッチから時間的特徴を直接学習するための視覚変換器に基づくアプローチを提案する。 本研究では,白内障手術用ビデオデータセットである白内障-101とD99に対するアプローチを広範に評価し,各種の最先端手法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2023-07-20T17:57:04Z)
• LoViT: Long Video Transformer for Surgical Phase Recognition [59.06812739441785]
  短時間・長期の時間情報を融合する2段階のLong Video Transformer(LoViT)を提案する。 このアプローチは、Colec80とAutoLaparoデータセットの最先端メソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2023-05-15T20:06:14Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid Embedding Aggregation Transformer [57.18185972461453]
  本稿では,手術ワークフロー解析トランスフォーマーを初めて導入し,正確な位相認識のための時間的特徴と時間的特徴の無視された補完効果を再考する。 我々のフレームワークは軽量であり、高い推論速度を達成するためにハイブリッド埋め込みを並列に処理します。
  論文  参考訳（メタデータ） (2021-03-17T15:12:55Z)
• Multi-frame Feature Aggregation for Real-time Instrument Segmentation in Endoscopic Video [11.100734994959419]
  ビデオフレームの特徴を時間的・空間的に集約するMFFA(Multi-frame Feature Aggregation)モジュールを提案する。 また,1つのラベル付きフレームからランダムに手術用フレームシーケンスを合成し,ネットワークトレーニングを支援する手法を開発した。
  論文  参考訳（メタデータ） (2020-11-17T16:27:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。