論文の概要: MURPHY: Relations Matter in Surgical Workflow Analysis
- arxiv url: http://arxiv.org/abs/2212.12719v1
- Date: Sat, 24 Dec 2022 12:09:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 14:35:26.279770
- Title: MURPHY: Relations Matter in Surgical Workflow Analysis
- Title(参考訳): MURPHY : 外科的ワークフロー分析における課題
- Authors: Shang Zhao, Yanzhe Liu, Qiyuan Wang, Dai Sun, Rong Liu, S.Kevin Zhou
- Abstract要約: 本稿では,手術におけるリレーショナル・キューの重要性を体系的に検討する。
RLLS12Mデータセットは,ロボット左側方切除(RLLS)の大規模コレクションである。
本稿では,特徴表現を増大させるために,新しい関係モジュールを適切に組み込んだMulti-relation purification Hybrid Network (MURPHY)を提案する。
- 参考スコア(独自算出の注目度): 12.460554004034472
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous robotic surgery has advanced significantly based on analysis of
visual and temporal cues in surgical workflow, but relational cues from domain
knowledge remain under investigation. Complex relations in surgical annotations
can be divided into intra- and inter-relations, both valuable to autonomous
systems to comprehend surgical workflows. Intra- and inter-relations describe
the relevance of various categories within a particular annotation type and the
relevance of different annotation types, respectively. This paper aims to
systematically investigate the importance of relational cues in surgery. First,
we contribute the RLLS12M dataset, a large-scale collection of robotic left
lateral sectionectomy (RLLS), by curating 50 videos of 50 patients operated by
5 surgeons and annotating a hierarchical workflow, which consists of 3 inter-
and 6 intra-relations, 6 steps, 15 tasks, and 38 activities represented as the
triplet of 11 instruments, 8 actions, and 16 objects, totaling 2,113,510 video
frames and 12,681,060 annotation entities. Correspondingly, we propose a
multi-relation purification hybrid network (MURPHY), which aptly incorporates
novel relation modules to augment the feature representation by purifying
relational features using the intra- and inter-relations embodied in
annotations. The intra-relation module leverages a R-GCN to implant visual
features in different graph relations, which are aggregated using a targeted
relation purification with affinity information measuring label consistency and
feature similarity. The inter-relation module is motivated by attention
mechanisms to regularize the influence of relational features based on the
hierarchy of annotation types from the domain knowledge. Extensive experimental
results on the curated RLLS dataset confirm the effectiveness of our approach,
demonstrating that relations matter in surgical workflow analysis.
- Abstract(参考訳): 自律型ロボット手術は、手術ワークフローにおける視覚的および時間的手がかりの分析に基づいて著しく進歩してきたが、ドメイン知識による関係的手がかりは依然として調査中である。
外科的アノテーションの複雑な関係は、外科的ワークフローを理解するために自律的なシステムに価値のある、内的および相互関係に分けられる。
Intra-relation と Inter-relation は、特定のアノテーションタイプ内の様々なカテゴリの関連と、異なるアノテーションタイプの関連を記述している。
本稿では,手術におけるリレーショナル・キューの重要性を体系的に検討することを目的とする。
まず,5人の外科医が手術を行う50名の患者の50名のビデオをキュレートし,11台の計器,8個のアクション,16個のオブジェクトのトリプレットとして表現される3つの相互関係、6つのステップ,15のタスク,38のアクティビティからなる階層的ワークフロー,合計2,113,510台のビデオフレームと12,681,060個のアノテーションエンティティをアノテートすることにより,rlls12mデータセットをコントリビュートした。
これに対応して,アノテーションに具現化されている関係内および相互関係を用いた関係特徴の浄化により特徴表現を強化するために,新しい関係モジュールを適切に組み込んだマルチリレーション浄化ハイブリッドネットワーク(MURPHY)を提案する。
イントラリレーションモジュールはR-GCNを利用して異なるグラフ関係の視覚的特徴を埋め込む。
相互関係モジュールは、ドメイン知識からアノテーションタイプの階層に基づいて関係的特徴の影響を規則化するアテンションメカニズムによって動機付けられる。
RLLSデータセットの総合的な実験結果から,外科的ワークフロー解析における関係性の重要性が確認された。
関連論文リスト
- Surgical Triplet Recognition via Diffusion Model [59.50938852117371]
外科的三重項認識は、次世代のコンテキスト対応手術室を実現するために必要不可欠なビルディングブロックである。
拡散モデルを用いた外科的三重項認識のための新しい生成フレームワークであるDifftを提案する。
CholecT45とColecT50データセットの実験は、手術用三重項認識のための新しい最先端性能を達成する上で、提案手法の優位性を示している。
論文 参考訳(メタデータ) (2024-06-19T04:43:41Z) - Instrument-tissue Interaction Detection Framework for Surgical Video Understanding [31.822025965225016]
本稿では,手術ビデオ理解のための機器間相互作用検出ネットワーク(ITIDNet)を提案する。
具体的には,Snippet Consecutive Feature (SCF) レイヤを提案し,ビデオスニペット内のグローバルコンテキスト情報を用いて,現在のフレームにおける提案の関連性をモデル化することによって機能を強化する。
楽器と組織間の関係を推論するために、同じフレーム内の楽器と組織間の関係と、同じインスタンスの時間情報をモデル化するためのフレーム間関係を利用するための時間グラフ(TG)層が提案されている。
論文 参考訳(メタデータ) (2024-03-30T11:21:11Z) - Document-Level Relation Extraction with Relation Correlation Enhancement [10.684005956288347]
ドキュメントレベルの関係抽出(DocRE)は、ドキュメント内のエンティティ間の関係を識別することに焦点を当てたタスクである。
既存のDocREモデルは、しばしば関係関係の相関を見落とし、関係関係の定量的分析を欠いている。
本稿では,関係間の相互依存を明示的に活用することを目的とした関係グラフ手法を提案する。
論文 参考訳(メタデータ) (2023-10-06T10:59:00Z) - Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。
本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。
RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
論文 参考訳(メタデータ) (2023-09-20T08:11:58Z) - Dynamic Interactive Relation Capturing via Scene Graph Learning for
Robotic Surgical Report Generation [14.711668177329244]
ロボット補助手術の場合、正確な手術報告は手術中の臨床手術を反映し、文書化作業、術後分析、追跡治療を支援する。
手術現場では、楽器と組織の間の多くの複雑で多様な相互作用のため、これは難しい課題である。
本稿では, 組織と手術器具の相互関係を明らかにすることにより, 手術報告生成を促進するニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2023-06-05T07:34:41Z) - Nested Named Entity Recognition from Medical Texts: An Adaptive Shared
Network Architecture with Attentive CRF [53.55504611255664]
ネスト現象によるジレンマを解決するために,ASACと呼ばれる新しい手法を提案する。
提案手法は,適応共有(AS)部と注意条件付きランダムフィールド(ACRF)モジュールの2つの鍵モジュールを含む。
我々のモデルは、異なるカテゴリのエンティティ間の暗黙の区別と関係をキャプチャすることで、より良いエンティティ表現を学ぶことができる。
論文 参考訳(メタデータ) (2022-11-09T09:23:56Z) - Unified Embeddings of Structural and Functional Connectome via a
Function-Constrained Structural Graph Variational Auto-Encoder [2.8719792727222364]
機能的および構造的コネクトームからの情報を教師なし方式で組み込むことができる関数制約構造グラフ変分自動エンコーダを提案する。
これは、異なる主題を比較するための統一された空間座標系を確立するための、結合した低次元埋め込みにつながる。
論文 参考訳(メタデータ) (2022-07-05T21:39:13Z) - MedFACT: Modeling Medical Feature Correlations in Patient Health
Representation Learning via Feature Clustering [20.68759679109556]
本稿では,一般的な患者の健康表現学習フレームワークであるMedFACTを提案する。
本研究は, 時間的特徴パターンとカーネル法, グループ間の相関関係の強いクラスタ特徴の類似性を測定することで相関関係を推定する。
グラフ畳み込みネットワークを用いてグループワイドな特徴相互作用を行い、表現学習を改善する。
論文 参考訳(メタデータ) (2022-04-21T10:27:24Z) - CholecTriplet2021: A benchmark challenge for surgical action triplet
recognition [66.51610049869393]
腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。
課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。
4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
論文 参考訳(メタデータ) (2022-04-10T18:51:55Z) - Cross-Supervised Joint-Event-Extraction with Heterogeneous Information
Networks [61.950353376870154]
Joint-event- Extractは、トリガとエンティティのタグからなるタグセットを備えたシーケンスからシーケンスまでのラベリングタスクである。
トリガやエンティティの抽出を交互に監督するクロススーパーバイザードメカニズム(CSM)を提案する。
我々の手法は、エンティティとトリガー抽出の両方において最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2020-10-13T11:51:17Z) - Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。
各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。
慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文 参考訳(メタデータ) (2020-03-09T17:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。