論文の概要: LABRAD-OR: Lightweight Memory Scene Graphs for Accurate Bimodal Reasoning in Dynamic Operating Rooms

• arxiv url: http://arxiv.org/abs/2303.13293v1
• Date: Thu, 23 Mar 2023 14:26:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 14:09:36.093160
• Title: LABRAD-OR: Lightweight Memory Scene Graphs for Accurate Bimodal Reasoning in Dynamic Operating Rooms
• Title（参考訳）: LABRAD-OR:ダイナミックオペレーティングルームにおける正確なバイモーダル推論のための軽量メモリシーングラフ
• Authors: Ege \"Ozsoy, Tobias Czempiel, Felix Holm, Chantal Pellegrini, Nassir Navab
• Abstract要約: 手術室(OR)の全体モデリングは難しいが必須課題である。 本稿では,過去の時間ステップのシーングラフが時間的表現として機能し,現在の予測を導くメモリシーングラフを紹介する。 我々は、私たちの軽量メモリシーングラフの時間情報をポイントクラウドや画像からの視覚情報とインテリジェントに融合するエンドツーエンドアーキテクチャを設計する。
• 参考スコア（独自算出の注目度）: 39.11134330259464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern surgeries are performed in complex and dynamic settings, including ever-changing interactions between medical staff, patients, and equipment. The holistic modeling of the operating room (OR) is, therefore, a challenging but essential task, with the potential to optimize the performance of surgical teams and aid in developing new surgical technologies to improve patient outcomes. The holistic representation of surgical scenes as semantic scene graphs (SGG), where entities are represented as nodes and relations between them as edges, is a promising direction for fine-grained semantic OR understanding. We propose, for the first time, the use of temporal information for more accurate and consistent holistic OR modeling. Specifically, we introduce memory scene graphs, where the scene graphs of previous time steps act as the temporal representation guiding the current prediction. We design an end-to-end architecture that intelligently fuses the temporal information of our lightweight memory scene graphs with the visual information from point clouds and images. We evaluate our method on the 4D-OR dataset and demonstrate that integrating temporality leads to more accurate and consistent results achieving an +5% increase and a new SOTA of 0.88 in macro F1. This work opens the path for representing the entire surgery history with memory scene graphs and improves the holistic understanding in the OR. Introducing scene graphs as memory representations can offer a valuable tool for many temporal understanding tasks.
• Abstract（参考訳）: 現代の外科手術は複雑でダイナミックな環境で行われ、医療スタッフ、患者、機器の相互作用が変化し続ける。 手術室(OR)の全体的モデリングは、手術チームのパフォーマンスを最適化し、患者の成果を改善するための新しい手術技術の開発を支援することができるため、難しいが重要な課題である。 手術シーンを意味的シーングラフ (SGG) として包括的に表現し, 実体はノードとして表現され, それら間の関係はエッジとして表現される。 我々は,より正確で一貫性のある全体論的あるいはモデリングのための時間情報の利用を初めて提案する。 具体的には,過去の時間ステップのシーングラフが現在の予測を導く時間表現として機能するメモリシーングラフを紹介する。 我々は、私たちの軽量メモリシーングラフの時間情報をポイントクラウドや画像からの視覚情報とインテリジェントに融合するエンドツーエンドアーキテクチャを設計する。 4d-orデータセットにおける本手法を評価し,時間的統合によりより正確かつ一貫した結果が得られ,マクロf1 では 0.88 の新たな sota が得られた。 本研究は,手術履歴全体をメモリシーングラフで表現するための経路を開放し,ORの全体的理解を改善する。 シーングラフをメモリ表現として導入することで、多くの時間的理解タスクに有用なツールを提供することができる。

関連論文リスト

• SANGRIA: Surgical Video Scene Graph Optimization for Surgical Workflow Prediction [37.86132786212667]
  手術シーングラフの生成と最適化のためのエンドツーエンドフレームワークを提案する。 CATARACTSデータセットのSOTAの精度は8%,F1スコアは10%向上した。
  論文  参考訳（メタデータ） (2024-07-29T17:44:34Z)
• Predictive Modeling with Temporal Graphical Representation on Electronic Health Records [8.996666837088311]
  患者のERHの効果的な表現は、歴史的訪問と医療イベントの時間的関係の両方を包含すべきである。 我々は,患者のERHを新しい時間的異種グラフとしてモデル化する。 医療イベントノードから訪問ノードへの構造化情報を伝達し、タイムアウェアな訪問ノードを使用して患者の健康状態の変化をキャプチャする。
  論文  参考訳（メタデータ） (2024-05-07T02:05:30Z)
• Tri-modal Confluence with Temporal Dynamics for Scene Graph Generation in Operating Rooms [47.31847567531981]
  本稿では、TriTemp-ORと呼ばれる時間動的フレームワークとTri-modal(画像、点雲、言語)の結合を提案する。 我々のモデルは2次元フレームと3次元点雲間の時間的相互作用を行い、スケール適応型多視点時間的相互作用(ViewTemp)と幾何時間的点集合(PointTemp)を含む。 提案したTriTemp-ORは,関係認識統合による三モーダル特徴の集約を可能にし,シーングラフを生成するために関係を予測する。
  論文  参考訳（メタデータ） (2024-04-14T12:19:16Z)
• Encoding Surgical Videos as Latent Spatiotemporal Graphs for Object and Anatomy-Driven Reasoning [2.9724186623561435]
  時間とともに構成解剖学的構造やツールの観点から,手術ビデオを表すために潜時グラフを用いた。 本稿では,事前知識の時間的コヒーレンスを取り入れたグラフ編集モジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-11T20:42:27Z)
• 4D-OR: Semantic Scene Graphs for OR Domain Modeling [72.1320671045942]
  本稿では,手術シーンを記述・要約するために意味シーングラフ(SSG)を提案する。 シーングラフのノードは、医療スタッフ、患者、医療機器など、部屋内のさまざまなアクターやオブジェクトを表す。 人工膝置換手術を10回行った4D-ORデータセットを作成した。
  論文  参考訳（メタデータ） (2022-03-22T17:59:45Z)
• Efficient Global-Local Memory for Real-time Instrument Segmentation of Robotic Surgical Video [53.14186293442669]
  手術器具の知覚における重要な手がかりとして,隣接するフレームからの局所的時間依存性と,長距離における大域的意味的相関があげられる。 本稿では,グローバルとローカルの両方の時間的知識を関連付ける新しいデュアルメモリネットワーク(DMNet)を提案する。 本手法は,実時間速度を維持しながらセグメント化精度を向上する手法である。
  論文  参考訳（メタデータ） (2021-09-28T10:10:14Z)
• Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical Procedures [70.69948035469467]
  カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。 次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
  論文  参考訳（メタデータ） (2021-06-09T14:35:44Z)
• BiteNet: Bidirectional Temporal Encoder Network to Predict Medical Outcomes [53.163089893876645]
  本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。 エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。 実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
  論文  参考訳（メタデータ） (2020-09-24T00:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。