論文の概要: Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical
Procedures
- arxiv url: http://arxiv.org/abs/2106.15309v1
- Date: Wed, 9 Jun 2021 14:35:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-05 00:28:42.309186
- Title: Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical
Procedures
- Title（参考訳）: 外科手術の全体モデリングのためのマルチモーダルセマンティックシーングラフ
- Authors: Ege \"Ozsoy, Evin P{\i}nar \"Ornek, Ulrich Eck, Federico Tombari,
Nassir Navab
- Abstract要約: カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。
次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
- 参考スコア（独自算出の注目度）: 70.69948035469467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: From a computer science viewpoint, a surgical domain model needs to be a
conceptual one incorporating both behavior and data. It should therefore model
actors, devices, tools, their complex interactions and data flow. To capture
and model these, we take advantage of the latest computer vision methodologies
for generating 3D scene graphs from camera views. We then introduce the
Multimodal Semantic Scene Graph (MSSG) which aims at providing a unified
symbolic, spatiotemporal and semantic representation of surgical procedures.
This methodology aims at modeling the relationship between different components
in surgical domain including medical staff, imaging systems, and surgical
devices, opening the path towards holistic understanding and modeling of
surgical procedures. We then use MSSG to introduce a dynamically generated
graphical user interface tool for surgical procedure analysis which could be
used for many applications including process optimization, OR design and
automatic report generation. We finally demonstrate that the proposed MSSGs
could also be used for synchronizing different complex surgical procedures.
While the system still needs to be integrated into real operating rooms before
getting validated, this conference paper aims mainly at providing the community
with the basic principles of this novel concept through a first prototypal
partial realization based on MVOR dataset.
- Abstract（参考訳）: コンピュータサイエンスの観点からは、手術領域モデルは行動とデータの両方を組み込んだ概念的なモデルである必要がある。
したがってアクター、デバイス、ツール、複雑なインタラクション、データフローをモデル化する必要がある。
これらをキャプチャし、モデル化するために、カメラビューから3次元シーングラフを生成する最新のコンピュータビジョン手法を利用する。
次に,手術手順のシンボリック,時空間的,意味的表現を統一することを目的としたマルチモーダルセマンティックシーングラフ(mssg)を提案する。
本手法は, 医療スタッフ, 画像システム, 手術器具を含む外科領域の異なる部位間の関係をモデル化し, 外科手術の全体的理解とモデリングへの道を開くことを目的とする。
次に,mssgを用いて手術手順解析のための動的に生成されたグラフィカルユーザインタフェースツールを導入し,プロセス最適化や設計,自動レポート生成など,多くのアプリケーションで利用可能となった。
提案したMSSGsは,異なる複雑な外科手術の同期にも有用であることを示す。
本論文は,mvorデータセットに基づく最初の原型的部分的実現を通じて,この新概念の基本的な原則をコミュニティに提供することを目的としている。
関連論文リスト
- VISAGE: Video Synthesis using Action Graphs for Surgery [34.21344214645662]
腹腔鏡下手術における映像生成の新しい課題について紹介する。
提案手法であるVISAGEは,アクションシーングラフのパワーを利用して,腹腔鏡下手術のシーケンシャルな特徴を捉える。
腹腔鏡下手術における高忠実度ビデオ生成について検討した。
論文 参考訳（メタデータ） (2024-10-23T10:28:17Z) - Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。
我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
論文 参考訳（メタデータ） (2024-09-13T10:19:10Z) - Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。
脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。
5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
論文 参考訳（メタデータ） (2024-03-25T13:09:40Z) - Pixel-Wise Recognition for Holistic Surgical Scene Understanding [31.338288460529046]
本稿では,前立腺腫 (GraSP) データセットについて述べる。
GraSPは、外科的シーン理解を、様々なレベルの粒度の相補的なタスクの階層としてモデル化した、キュレートされたベンチマークである。
本稿では,グローバルビデオ特徴抽出器と局所領域の提案を組み合わせた汎用アーキテクチャであるTransformers for Actions, Phases, Steps, and Instruments(TAPIS)モデルを紹介する。
論文 参考訳（メタデータ） (2024-01-20T09:09:52Z) - SeUNet-Trans: A Simple yet Effective UNet-Transformer Model for Medical
Image Segmentation [0.0]
医用画像セグメンテーションのためのシンプルなUNet-Transformer(seUNet-Trans)モデルを提案する。
提案手法では,UNetモデルを特徴抽出器として設計し,入力画像から複数の特徴マップを生成する。
UNetアーキテクチャと自己認識機構を活用することで、我々のモデルはローカルとグローバルの両方のコンテキスト情報を保存するだけでなく、入力要素間の長距離依存関係をキャプチャできる。
論文 参考訳（メタデータ） (2023-10-16T01:13:38Z) - Visual-Kinematics Graph Learning for Procedure-agnostic Instrument Tip
Segmentation in Robotic Surgeries [29.201385352740555]
そこで我々は,様々な外科手術を施した楽器の先端を正確に分類する新しいビジュアル・キネマティクスグラフ学習フレームワークを提案する。
具体的には、画像とキネマティクスの両方から楽器部品のリレーショナル特徴を符号化するグラフ学習フレームワークを提案する。
クロスモーダル・コントラッシブ・ロスは、キネマティクスからチップセグメンテーションのイメージへの頑健な幾何学的先行を組み込むように設計されている。
論文 参考訳（メタデータ） (2023-09-02T14:52:58Z) - MedSegDiff-V2: Diffusion based Medical Image Segmentation with
Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。
画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文 参考訳（メタデータ） (2023-01-19T03:42:36Z) - 4D-OR: Semantic Scene Graphs for OR Domain Modeling [72.1320671045942]
本稿では,手術シーンを記述・要約するために意味シーングラフ(SSG)を提案する。
シーングラフのノードは、医療スタッフ、患者、医療機器など、部屋内のさまざまなアクターやオブジェクトを表す。
人工膝置換手術を10回行った4D-ORデータセットを作成した。
論文 参考訳（メタデータ） (2022-03-22T17:59:45Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳（メタデータ） (2020-11-03T11:00:10Z) - Spatiotemporal-Aware Augmented Reality: Redefining HCI in Image-Guided
Therapy [39.370739217840594]
拡張現実(AR)はこの10年で手術室に導入されている。
本稿では、ヘッドマウントディスプレイの利点をフル活用して、模範的な可視化をいかに再定義するかを示す。
X線画像の幾何学的および物理的特性からシステムの認識は、異なるヒューマン・マシン・インタフェースの再定義を可能にする。
論文 参考訳（メタデータ） (2020-03-04T18:59:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。