論文の概要: 4D-OR: Semantic Scene Graphs for OR Domain Modeling
- arxiv url: http://arxiv.org/abs/2203.11937v1
- Date: Tue, 22 Mar 2022 17:59:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-23 14:12:11.748620
- Title: 4D-OR: Semantic Scene Graphs for OR Domain Modeling
- Title(参考訳): 4d-or: ドメインモデリングのためのセマンティックシーングラフ
- Authors: Ege \"Ozsoy, Evin P{\i}nar \"Ornek, Ulrich Eck, Tobias Czempiel,
Federico Tombari, Nassir Navab
- Abstract要約: 本稿では,手術シーンを記述・要約するために意味シーングラフ(SSG)を提案する。
シーングラフのノードは、医療スタッフ、患者、医療機器など、部屋内のさまざまなアクターやオブジェクトを表す。
人工膝置換手術を10回行った4D-ORデータセットを作成した。
- 参考スコア(独自算出の注目度): 72.1320671045942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Surgical procedures are conducted in highly complex operating rooms (OR),
comprising different actors, devices, and interactions. To date, only medically
trained human experts are capable of understanding all the links and
interactions in such a demanding environment. This paper aims to bring the
community one step closer to automated, holistic and semantic understanding and
modeling of OR domain. Towards this goal, for the first time, we propose using
semantic scene graphs (SSG) to describe and summarize the surgical scene. The
nodes of the scene graphs represent different actors and objects in the room,
such as medical staff, patients, and medical equipment, whereas edges are the
relationships between them. To validate the possibilities of the proposed
representation, we create the first publicly available 4D surgical SSG dataset,
4D-OR, containing ten simulated total knee replacement surgeries recorded with
six RGB-D sensors in a realistic OR simulation center. 4D-OR includes 6734
frames and is richly annotated with SSGs, human and object poses, and clinical
roles. We propose an end-to-end neural network-based SSG generation pipeline,
with a rate of success of 0.75 macro F1, indeed being able to infer semantic
reasoning in the OR. We further demonstrate the representation power of our
scene graphs by using it for the problem of clinical role prediction, where we
achieve 0.85 macro F1. The code and dataset will be made available upon
acceptance.
- Abstract(参考訳): 手術手順は、異なるアクター、デバイス、相互作用からなる非常に複雑な手術室(OR)で行われる。
これまでのところ、医療訓練を受けた人間専門家だけが、このような厳しい環境の中で、すべてのリンクと相互作用を理解することができる。
本稿では、ORドメインの自動化、総合的、セマンティックな理解とモデリングにコミュニティを一歩近付けることを目的とする。
この目的に向けて, 外科的シーンを記述・要約するために, 意味的シーングラフ (ssg) を用いることを初めて提案する。
シーングラフのノードは、医療スタッフ、患者、医療機器など、部屋内のさまざまなアクターやオブジェクトを表していますが、エッジはそれらの関係です。
提案する表現の可能性を検証するため,6つのRGB-Dセンサで記録された人工膝置換手術をリアルなORシミュレーションセンターで行う4D-ORを作成した。
4D-ORは6734フレームを含み、SSG、ヒトおよびオブジェクトのポーズ、臨床的な役割に富んでいる。
本稿では,ニューラルネットワークを用いたSSG生成パイプラインを提案する。その成功率は0.75マクロF1であり,ORにおける意味論的推論を推測することができる。
さらに, 臨床的役割予測の問題に利用することにより, シーングラフの表現力を示し, 0.85マクロf1を達成した。
コードとデータセットは、受け入れ次第利用可能になる。
関連論文リスト
- Handling Geometric Domain Shifts in Semantic Segmentation of Surgical RGB and Hyperspectral Images [67.66644395272075]
本稿では,幾何学的アウト・オブ・ディストリビューションデータに直面する場合の,最先端のセマンティックセマンティックセマンティクスモデルの最初の解析を行う。
本稿では, 汎用性を高めるために, 有機移植(Organ Transplantation)と呼ばれる拡張技術を提案する。
我々の拡張技術は、RGBデータに対して最大67%、HSIデータに対して90%のSOAモデル性能を改善し、実際のOODテストデータに対して、分配内パフォーマンスのレベルでのパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-08-27T19:13:15Z) - G-HOP: Generative Hand-Object Prior for Interaction Reconstruction and Grasp Synthesis [57.07638884476174]
G-HOPは手-対象相互作用の前駆体である。
人手は骨格距離場を介して表現し、物体の符号付き距離場と整合した表現を得る。
この手動物体は、対話クリップからの再構成や人間のつかみ合成など、他の作業を容易にするための汎用的なガイダンスとして機能することを示す。
論文 参考訳(メタデータ) (2024-04-18T17:59:28Z) - LABRAD-OR: Lightweight Memory Scene Graphs for Accurate Bimodal
Reasoning in Dynamic Operating Rooms [39.11134330259464]
手術室(OR)の全体モデリングは難しいが必須課題である。
本稿では,過去の時間ステップのシーングラフが時間的表現として機能し,現在の予測を導くメモリシーングラフを紹介する。
我々は、私たちの軽量メモリシーングラフの時間情報をポイントクラウドや画像からの視覚情報とインテリジェントに融合するエンドツーエンドアーキテクチャを設計する。
論文 参考訳(メタデータ) (2023-03-23T14:26:16Z) - Semantic segmentation of surgical hyperspectral images under geometric
domain shifts [69.91792194237212]
本稿では、幾何学的アウト・オブ・ディストリビューション(OOD)データの存在下で、最先端のセマンティックセグメンテーションネットワークを初めて分析する。
有機移植(Organ transplantation)と呼ばれる専用の拡張技術により、一般化可能性にも対処する。
提案手法は,SOA DSCの最大67 % (RGB) と90% (HSI) を改善し,実際のOODテストデータ上での分配内性能と同等の性能を示す。
論文 参考訳(メタデータ) (2023-03-20T09:50:07Z) - Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical
Procedures [70.69948035469467]
カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。
次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
論文 参考訳(メタデータ) (2021-06-09T14:35:44Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳(メタデータ) (2021-04-08T20:01:00Z) - Learning and Reasoning with the Graph Structure Representation in
Robotic Surgery [15.490603884631764]
グラフ表現を推論する学習は、ロボット手術における外科的シーン理解において重要な役割を果たす。
我々は,シーングラフを作成し,楽器と外科的関心領域の間の外科的相互作用を予測する手法を開発した。
論文 参考訳(メタデータ) (2020-07-07T11:49:34Z) - 3D Dynamic Scene Graphs: Actionable Spatial Perception with Places,
Objects, and Humans [27.747241700017728]
動作可能な空間知覚のための統一表現として,3次元ダイナミックシーングラフを提案する。
3D Dynamic Scene Graphsは、計画と意思決定、人間とロボットのインタラクション、長期的な自律性、シーン予測に大きな影響を与える可能性がある。
論文 参考訳(メタデータ) (2020-02-15T00:46:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。