論文の概要: Slot-BERT: Self-supervised Object Discovery in Surgical Video

• arxiv url: http://arxiv.org/abs/2501.12477v1
• Date: Tue, 21 Jan 2025 19:59:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:28:43.018005
• Title: Slot-BERT: Self-supervised Object Discovery in Surgical Video
• Title（参考訳）: Slot-BERT: 手術ビデオにおける自己監督型物体発見
• Authors: Guiqiu Liao, Matjaz Jogan, Marcel Hussing, Kenta Nakahashi, Kazuhiro Yasufuku, Amin Madani, Eric Eaton, Daniel A. Hashimoto,
• Abstract要約: Slot-BERTは、制約のない長さの長いビデオにオブジェクト発見をシームレスにスケールする。 Slot-BERTは,腹部,胆嚢摘出術,胸腔鏡下手術から得られた実世界の外科的ビデオデータセットを用いて評価した。
• 参考スコア（独自算出の注目度）: 9.224875902060083
• License:
• Abstract: Object-centric slot attention is a powerful framework for unsupervised learning of structured and explainable representations that can support reasoning about objects and actions, including in surgical videos. While conventional object-centric methods for videos leverage recurrent processing to achieve efficiency, they often struggle with maintaining long-range temporal coherence required for long videos in surgical applications. On the other hand, fully parallel processing of entire videos enhances temporal consistency but introduces significant computational overhead, making it impractical for implementation on hardware in medical facilities. We present Slot-BERT, a bidirectional long-range model that learns object-centric representations in a latent space while ensuring robust temporal coherence. Slot-BERT scales object discovery seamlessly to long videos of unconstrained lengths. A novel slot contrastive loss further reduces redundancy and improves the representation disentanglement by enhancing slot orthogonality. We evaluate Slot-BERT on real-world surgical video datasets from abdominal, cholecystectomy, and thoracic procedures. Our method surpasses state-of-the-art object-centric approaches under unsupervised training achieving superior performance across diverse domains. We also demonstrate efficient zero-shot domain adaptation to data from diverse surgical specialties and databases.
• Abstract（参考訳）: オブジェクト中心のスロットアテンションは、構造化された説明可能な表現の教師なし学習のための強力なフレームワークであり、手術ビデオを含むオブジェクトやアクションの推論を支援する。 従来のビデオのオブジェクト中心の手法では、リカレント処理を利用して効率を上げるが、外科的応用では長いビデオに必要な長時間の時間的コヒーレンスを維持するのに苦労することが多い。 一方,ビデオ全体の完全並列処理は時間的整合性を高めるが,計算オーバーヘッドが著しく増加し,医療施設におけるハードウェア実装において実用的ではない。 本稿では,頑健な時間的コヒーレンスを確保しつつ,オブジェクト中心表現を潜在空間で学習する双方向長範囲モデルであるSlot-BERTを提案する。 Slot-BERTは、制約のない長さの長いビデオにオブジェクト発見をシームレスにスケールする。 新規なスロットコントラスト損失は、さらに冗長性を減少させ、スロットの直交性を高めて表現歪曲を改善する。 Slot-BERTは,腹部,胆嚢摘出術,胸腔鏡下手術から得られた実世界の外科的ビデオデータセットを用いて評価した。 本手法は,教師なし学習における最先端のオブジェクト中心アプローチを超越し,多分野にわたる優れた性能を実現する。 また,多種多様な外科的専門分野やデータベースのデータに対する効率的なゼロショットドメイン適応を実証した。

関連論文リスト

• Vivim: a Video Vision Mamba for Medical Video Segmentation [52.11785024350253]
  本稿では、医用ビデオセグメンテーションタスクのためのビデオビジョンマンバベースのフレームワークVivimを提案する。 我々のビビムは、長期表現を様々なスケールのシーケンスに効果的に圧縮することができる。 超音波検査では甲状腺分節,乳房病変分節,大腸内視鏡検査ではポリープ分節が有効で有効であった。
  論文  参考訳（メタデータ） (2024-01-25T13:27:03Z)
• Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane [58.871015937204255]
  変形性組織を再建するための高速直交平面(Fast Orthogonal Plane)を導入する。 我々は外科手術を4Dボリュームとして概念化し、それらをニューラルネットワークからなる静的および動的フィールドに分解する。 この分解により4次元空間が増加し、メモリ使用量が減少し、最適化が高速化される。
  論文  参考訳（メタデータ） (2023-12-23T13:27:50Z)
• Surgical Temporal Action-aware Network with Sequence Regularization for Phase Recognition [28.52533700429284]
  本稿では,STAR-Netと命名されたシークエンス正規化を施した手術時行動認識ネットワークを提案する。 MS-STAモジュールは、視覚的特徴と2Dネットワークを犠牲にして、手術行動の空間的および時間的知識を統合する。 我々のSTAR-Net with MS-STA and DSR can exploit of visual features of surgery action with effective regularization, which to the excellent performance of surgery phase recognition。
  論文  参考訳（メタデータ） (2023-11-21T13:43:16Z)
• GLSFormer : Gated - Long, Short Sequence Transformer for Step Recognition in Surgical Videos [57.93194315839009]
  本稿では,シーケンスレベルのパッチから時間的特徴を直接学習するための視覚変換器に基づくアプローチを提案する。 本研究では,白内障手術用ビデオデータセットである白内障-101とD99に対するアプローチを広範に評価し,各種の最先端手法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2023-07-20T17:57:04Z)
• LoViT: Long Video Transformer for Surgical Phase Recognition [59.06812739441785]
  短時間・長期の時間情報を融合する2段階のLong Video Transformer(LoViT)を提案する。 このアプローチは、Colec80とAutoLaparoデータセットの最先端メソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2023-05-15T20:06:14Z)
• Efficient Global-Local Memory for Real-time Instrument Segmentation of Robotic Surgical Video [53.14186293442669]
  手術器具の知覚における重要な手がかりとして,隣接するフレームからの局所的時間依存性と,長距離における大域的意味的相関があげられる。 本稿では,グローバルとローカルの両方の時間的知識を関連付ける新しいデュアルメモリネットワーク(DMNet)を提案する。 本手法は,実時間速度を維持しながらセグメント化精度を向上する手法である。
  論文  参考訳（メタデータ） (2021-09-28T10:10:14Z)
• Multi-frame Feature Aggregation for Real-time Instrument Segmentation in Endoscopic Video [11.100734994959419]
  ビデオフレームの特徴を時間的・空間的に集約するMFFA(Multi-frame Feature Aggregation)モジュールを提案する。 また,1つのラベル付きフレームからランダムに手術用フレームシーケンスを合成し,ネットワークトレーニングを支援する手法を開発した。
  論文  参考訳（メタデータ） (2020-11-17T16:27:27Z)
• Symmetric Dilated Convolution for Surgical Gesture Recognition [10.699258974625073]
  外科的ジェスチャーを自動的に検出・分節する新しい時間的畳み込みアーキテクチャを提案する。 本研究では,長期時間パターンを符号化・復号化するために,自己アテンションモジュールでブリッジされた対称的拡張構造を用いて手法を考案する。 JIGSAWSデータセットからの基本的なロボット縫合タスクに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2020-07-13T13:34:48Z)
• Automatic Operating Room Surgical Activity Recognition for Robot-Assisted Surgery [1.1033115844630357]
  ロボット支援手術における自動手術活動認識について検討した。 400本のフル長マルチパースペクティブビデオを含む,最初の大規模データセットを収集する。 ビデオに最も認識され,臨床的に関係のある10のクラスで注釈を付ける。
  論文  参考訳（メタデータ） (2020-06-29T16:30:31Z)
• LRTD: Long-Range Temporal Dependency based Active Learning for Surgical Workflow Recognition [67.86810761677403]
  本稿では,費用対効果の高い手術ビデオ解析のための新しい能動的学習法を提案する。 具体的には,非局所的再帰的畳み込みネットワーク (NL-RCNet) を提案する。 手術ワークフロー認識タスクを実行することで,大規模な手術ビデオデータセット(Cholec80)に対するアプローチを検証する。
  論文  参考訳（メタデータ） (2020-04-21T09:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。