論文の概要: Learning and Reasoning with the Graph Structure Representation in Robotic Surgery

• arxiv url: http://arxiv.org/abs/2007.03357v3
• Date: Thu, 10 Sep 2020 21:50:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 20:16:39.336680
• Title: Learning and Reasoning with the Graph Structure Representation in Robotic Surgery
• Title（参考訳）: ロボット手術におけるグラフ構造表現による学習と推論
• Authors: Mobarakol Islam, Lalithkumar Seenivasan, Lim Chwee Ming, Hongliang Ren
• Abstract要約: グラフ表現を推論する学習は、ロボット手術における外科的シーン理解において重要な役割を果たす。 我々は,シーングラフを作成し,楽器と外科的関心領域の間の外科的相互作用を予測する手法を開発した。
• 参考スコア（独自算出の注目度）: 15.490603884631764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning to infer graph representations and performing spatial reasoning in a complex surgical environment can play a vital role in surgical scene understanding in robotic surgery. For this purpose, we develop an approach to generate the scene graph and predict surgical interactions between instruments and surgical region of interest (ROI) during robot-assisted surgery. We design an attention link function and integrate with a graph parsing network to recognize the surgical interactions. To embed each node with corresponding neighbouring node features, we further incorporate SageConv into the network. The scene graph generation and active edge classification mostly depend on the embedding or feature extraction of node and edge features from complex image representation. Here, we empirically demonstrate the feature extraction methods by employing label smoothing weighted loss. Smoothing the hard label can avoid the over-confident prediction of the model and enhances the feature representation learned by the penultimate layer. To obtain the graph scene label, we annotate the bounding box and the instrument-ROI interactions on the robotic scene segmentation challenge 2018 dataset with an experienced clinical expert in robotic surgery and employ it to evaluate our propositions.
• Abstract（参考訳）: 複雑な手術環境におけるグラフ表現の推論と空間推論の学習は,ロボット手術における外科的シーン理解において重要な役割を果たす。 そこで我々は,ロボット支援手術において,シーングラフを作成し,機器と手術領域(ROI)間の外科的相互作用を予測する手法を開発した。 我々は注意リンク関数を設計し、手術的相互作用を認識するためにグラフ解析ネットワークと統合する。 各ノードに対応するノードの特徴を埋め込むため、SageConvをさらにネットワークに組み込む。 シーングラフの生成とアクティブエッジ分類は、主に複雑な画像表現からのノードとエッジの特徴の埋め込みや特徴抽出に依存する。 本稿では,重み付き損失を緩和するラベルを用いた特徴抽出手法を実証的に示す。 ハードラベルを平滑にすることで、モデルの過信予測を回避でき、最後尾層で学習した特徴表現を強化することができる。 グラフシーンラベルを得るために,ロボットシーンセグメンテーションチャレンジ2018データセットのバウンディングボックスと計器-ROI相互作用を,ロボット手術の経験豊富な臨床専門家とアノテートし,提案事項を評価する。

関連論文リスト

• Revisiting Surgical Instrument Segmentation Without Human Intervention: A Graph Partitioning View [7.594796294925481]
  本稿では,ビデオフレーム分割をグラフ分割問題として再検討し,教師なしの手法を提案する。 自己教師付き事前学習モデルは、まず、高レベルな意味的特徴をキャプチャする特徴抽出器として活用される。 ディープ」固有ベクトルでは、手術用ビデオフレームは、ツールや組織などの異なるモジュールに意味的に分割され、区別可能な意味情報を提供する。
  論文  参考訳（メタデータ） (2024-08-27T05:31:30Z)
• SANGRIA: Surgical Video Scene Graph Optimization for Surgical Workflow Prediction [37.86132786212667]
  手術シーングラフの生成と最適化のためのエンドツーエンドフレームワークを提案する。 CATARACTSデータセットのSOTAの精度は8%,F1スコアは10%向上した。
  論文  参考訳（メタデータ） (2024-07-29T17:44:34Z)
• Hypergraph-Transformer (HGT) for Interactive Event Prediction in Laparoscopic and Robotic Surgery [50.3022015601057]
  腹腔内ビデオから外科的ワークフローの重要なインタラクティブな側面を理解し,予測できる予測型ニューラルネットワークを提案する。 我々は,既存の手術用データセットとアプリケーションに対するアプローチを検証し,アクション・トリプレットの検出と予測を行った。 この結果は、非構造的な代替案と比較して、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2024-02-03T00:58:05Z)
• Dynamic Scene Graph Representation for Surgical Video [37.22552586793163]
  我々は、シーングラフを、より包括的で意味があり、人間の読みやすい方法で、手術ビデオを表現するために活用する。 CaDISとCATARACTSのセマンティックセグメンテーションからシーングラフデータセットを作成する。 モデル決定の妥当性と堅牢性について,手術シーングラフの利点を実証する。
  論文  参考訳（メタデータ） (2023-09-25T21:28:14Z)
• SurGNN: Explainable visual scene understanding and assessment of surgical skill using graph neural networks [19.57785997767885]
  本稿では,グラフニューラルネットワーク(GNN)を用いて視覚的シーン理解と手術的スキルアセスメントを高める方法について検討する。 GNNは解釈可能な結果を提供し、予測されたスキルメトリクスに寄与する特定のアクション、楽器、または解剖学的構造を明らかにする。
  論文  参考訳（メタデータ） (2023-08-24T20:32:57Z)
• Pseudo-label Guided Cross-video Pixel Contrast for Robotic Surgical Scene Segmentation with Limited Annotations [72.15956198507281]
  シーンセグメンテーションを促進するために,新しい擬似ラベル付きクロスビデオコントラスト学習法であるPGV-CLを提案する。 本研究では,ロボット外科手術データセットEndoVis18と白内障手術データセットCaDISについて検討した。
  論文  参考訳（メタデータ） (2022-07-20T05:42:19Z)
• 4D-OR: Semantic Scene Graphs for OR Domain Modeling [72.1320671045942]
  本稿では,手術シーンを記述・要約するために意味シーングラフ(SSG)を提案する。 シーングラフのノードは、医療スタッフ、患者、医療機器など、部屋内のさまざまなアクターやオブジェクトを表す。 人工膝置換手術を10回行った4D-ORデータセットを作成した。
  論文  参考訳（メタデータ） (2022-03-22T17:59:45Z)
• Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical Procedures [70.69948035469467]
  カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。 次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
  論文  参考訳（メタデータ） (2021-06-09T14:35:44Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• Towards Unsupervised Learning for Instrument Segmentation in Robotic Surgery with Cycle-Consistent Adversarial Networks [54.00217496410142]
  本稿では、入力された内視鏡画像と対応するアノテーションとのマッピングを学習することを目的として、未ペア画像から画像への変換を提案する。 当社のアプローチでは,高価なアノテーションを取得することなく,イメージセグメンテーションモデルをトレーニングすることが可能です。 提案手法をEndovis 2017チャレンジデータセットで検証し,教師付きセグメンテーション手法と競合することを示す。
  論文  参考訳（メタデータ） (2020-07-09T01:39:39Z)
• Towards Generalizable Surgical Activity Recognition Using Spatial Temporal Graph Convolutional Networks [0.40611352512781856]
  シーンの変動に頑健なモダリティを導入し、向きや相対的な空間関係などの部分情報を推測することができる。 提案したモダリティは,ビデオにおける外科的ツールの空間時間グラフ表現に基づいて,外科的活動認識を行う。
  論文  参考訳（メタデータ） (2020-01-11T09:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。