論文の概要: Dynamic Scene Graph Representation for Surgical Video
- arxiv url: http://arxiv.org/abs/2309.14538v2
- Date: Tue, 24 Oct 2023 10:24:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 23:22:53.249442
- Title: Dynamic Scene Graph Representation for Surgical Video
- Title(参考訳): 手術ビデオのための動的シーングラフ表現
- Authors: Felix Holm, Ghazal Ghazaei, Tobias Czempiel, Ege \"Ozsoy, Stefan Saur,
Nassir Navab
- Abstract要約: 我々は、シーングラフを、より包括的で意味があり、人間の読みやすい方法で、手術ビデオを表現するために活用する。
CaDISとCATARACTSのセマンティックセグメンテーションからシーングラフデータセットを作成する。
モデル決定の妥当性と堅牢性について,手術シーングラフの利点を実証する。
- 参考スコア(独自算出の注目度): 37.22552586793163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Surgical videos captured from microscopic or endoscopic imaging devices are
rich but complex sources of information, depicting different tools and
anatomical structures utilized during an extended amount of time. Despite
containing crucial workflow information and being commonly recorded in many
procedures, usage of surgical videos for automated surgical workflow
understanding is still limited.
In this work, we exploit scene graphs as a more holistic, semantically
meaningful and human-readable way to represent surgical videos while encoding
all anatomical structures, tools, and their interactions. To properly evaluate
the impact of our solutions, we create a scene graph dataset from semantic
segmentations from the CaDIS and CATARACTS datasets. We demonstrate that scene
graphs can be leveraged through the use of graph convolutional networks (GCNs)
to tackle surgical downstream tasks such as surgical workflow recognition with
competitive performance. Moreover, we demonstrate the benefits of surgical
scene graphs regarding the explainability and robustness of model decisions,
which are crucial in the clinical setting.
- Abstract(参考訳): 顕微鏡または内視鏡画像装置から撮影された手術ビデオは、豊富なが複雑な情報源であり、様々なツールや解剖学的構造が長い時間で利用される。
重要なワークフロー情報を含み、多くの手順で一般的に記録されているにもかかわらず、外科的ワークフロー理解のための外科的ビデオの使用は依然として限られている。
本研究では,すべての解剖学的構造,ツール,およびそれらの相互作用をエンコードしながら,手術ビデオを表現するためのより包括的,意味的に有意義で可読な方法としてシーングラフを利用する。
ソリューションの影響を適切に評価するために、cadisと白内障データセットのセマンティックセグメンテーションからシーングラフデータセットを作成します。
本稿では,グラフ畳み込みネットワーク(gcns)を用いて,手術下下流の作業,例えば外科的ワークフロー認識や競合性能に対処し,シーングラフを活用できることを実証する。
さらに, 臨床現場において重要なモデル決定の説明可能性とロバスト性に関して, 外科的シーングラフの有用性を示す。
関連論文リスト
- Cataract-1K: Cataract Surgery Dataset for Scene Segmentation, Phase
Recognition, and Irregularity Detection [5.47960852753243]
本稿では,コンピュータ化された手術ワークフロー解析を構築するための多様な要件に対処する,白内障手術用ビデオデータセットについて紹介する。
我々は、最先端のニューラルネットワークアーキテクチャの性能をベンチマークすることで、アノテーションの品質を検証する。
データセットとアノテーションは、論文の受理時に公開される。
論文 参考訳(メタデータ) (2023-12-11T10:53:05Z) - Visual-Kinematics Graph Learning for Procedure-agnostic Instrument Tip
Segmentation in Robotic Surgeries [29.201385352740555]
そこで我々は,様々な外科手術を施した楽器の先端を正確に分類する新しいビジュアル・キネマティクスグラフ学習フレームワークを提案する。
具体的には、画像とキネマティクスの両方から楽器部品のリレーショナル特徴を符号化するグラフ学習フレームワークを提案する。
クロスモーダル・コントラッシブ・ロスは、キネマティクスからチップセグメンテーションのイメージへの頑健な幾何学的先行を組み込むように設計されている。
論文 参考訳(メタデータ) (2023-09-02T14:52:58Z) - SurGNN: Explainable visual scene understanding and assessment of
surgical skill using graph neural networks [19.57785997767885]
本稿では,グラフニューラルネットワーク(GNN)を用いて視覚的シーン理解と手術的スキルアセスメントを高める方法について検討する。
GNNは解釈可能な結果を提供し、予測されたスキルメトリクスに寄与する特定のアクション、楽器、または解剖学的構造を明らかにする。
論文 参考訳(メタデータ) (2023-08-24T20:32:57Z) - Learning Multi-modal Representations by Watching Hundreds of Surgical
Video Lectures [54.376834698110684]
本研究では,オープンな外科的eラーニングプラットフォームを通じて利用可能な手術ビデオ講義が,効果的な監視信号を提供することができるという考えを提起した。
我々は複数の補完的な自動音声認識システムを用いてテキストの書き起こしを生成する。
次に、多モーダル表現学習のための新しい方法、Surg - Surgery Vision Language Pre-trainingを提案する。
論文 参考訳(メタデータ) (2023-07-27T22:38:12Z) - Semantic-SuPer: A Semantic-aware Surgical Perception Framework for
Endoscopic Tissue Classification, Reconstruction, and Tracking [21.133420628173067]
外科的知覚の枠組みであるSemantic-SuPerを提案する。
データアソシエーション、3D再構成、内視鏡的シーンの追跡を容易にするため、幾何学的および意味的な情報を統合する。
論文 参考訳(メタデータ) (2022-10-29T19:33:21Z) - Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical
Procedures [70.69948035469467]
カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。
次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
論文 参考訳(メタデータ) (2021-06-09T14:35:44Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳(メタデータ) (2020-11-03T11:00:10Z) - Towards Unsupervised Learning for Instrument Segmentation in Robotic
Surgery with Cycle-Consistent Adversarial Networks [54.00217496410142]
本稿では、入力された内視鏡画像と対応するアノテーションとのマッピングを学習することを目的として、未ペア画像から画像への変換を提案する。
当社のアプローチでは,高価なアノテーションを取得することなく,イメージセグメンテーションモデルをトレーニングすることが可能です。
提案手法をEndovis 2017チャレンジデータセットで検証し,教師付きセグメンテーション手法と競合することを示す。
論文 参考訳(メタデータ) (2020-07-09T01:39:39Z) - Learning and Reasoning with the Graph Structure Representation in
Robotic Surgery [15.490603884631764]
グラフ表現を推論する学習は、ロボット手術における外科的シーン理解において重要な役割を果たす。
我々は,シーングラフを作成し,楽器と外科的関心領域の間の外科的相互作用を予測する手法を開発した。
論文 参考訳(メタデータ) (2020-07-07T11:49:34Z) - LRTD: Long-Range Temporal Dependency based Active Learning for Surgical
Workflow Recognition [67.86810761677403]
本稿では,費用対効果の高い手術ビデオ解析のための新しい能動的学習法を提案する。
具体的には,非局所的再帰的畳み込みネットワーク (NL-RCNet) を提案する。
手術ワークフロー認識タスクを実行することで,大規模な手術ビデオデータセット(Cholec80)に対するアプローチを検証する。
論文 参考訳(メタデータ) (2020-04-21T09:21:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。