論文の概要: Using Human Gaze For Surgical Activity Recognition

• arxiv url: http://arxiv.org/abs/2203.04752v1
• Date: Wed, 9 Mar 2022 14:28:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-03-10 22:14:51.117664
• Title: Using Human Gaze For Surgical Activity Recognition
• Title（参考訳）: ヒューマン・ゲイズを用いた外科的活動認識
• Authors: Abdishakour Awale, Duygu Sarikaya
• Abstract要約: 手術映像における活動認識のための空間的時間的注意機構を備えた人間の視線の利用を提案する。 我々のモデルは、I3Dベースのアーキテクチャで構成され、3D畳み込みを用いて時間的特徴を学習し、人間の視線を用いて注意マップを学習する。
• 参考スコア（独自算出の注目度）: 0.40611352512781856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatically recognizing surgical activities plays an important role in providing feedback to surgeons, and is a fundamental step towards computer-aided surgical systems. Human gaze and visual saliency carry important information about visual attention, and can be used in computer vision systems. Although state-of-the-art surgical activity recognition models learn spatial temporal features, none of these models make use of human gaze and visual saliency. In this study, we propose to use human gaze with a spatial temporal attention mechanism for activity recognition in surgical videos. Our model consists of an I3D-based architecture, learns spatio-temporal features using 3D convolutions, as well as learning an attention map using human gaze. We evaluated our model on the Suturing task of JIGSAWS which is a publicly available surgical video understanding dataset. Our evaluations on a subset of random video segments in this task suggest that our approach achieves promising results with an accuracy of 86.2%.
• Abstract（参考訳）: 外科的活動の自動認識は、外科医にフィードバックを提供する上で重要な役割を担い、コンピュータ支援手術システムに向けた基本的なステップである。 人間の視線と視覚は視覚的注意に関する重要な情報を持ち、コンピュータビジョンシステムで使用することができる。 最先端の手術活動認識モデルは、空間的特徴を学習するが、これらのモデルはいずれも人間の視線と視覚の塩分を利用するものではない。 本研究では,手術映像における活動認識のための空間的時間的注意機構を用いた人間の視線の利用を提案する。 我々のモデルは、I3Dベースのアーキテクチャで構成され、3D畳み込みを用いて時空間の特徴を学習し、人間の視線を用いて注意マップを学習する。 手術用ビデオ理解データセットであるJIGSAWSのSuturingタスクを用いて,本モデルの評価を行った。 本課題におけるランダムなビデオセグメントのサブセットに対する評価は,86.2%の精度で有望な結果が得られることを示唆している。

関連論文リスト

• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
  手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。 これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。 本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)
• Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments [66.74633676595889]
  静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。 第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。 第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
  論文  参考訳（メタデータ） (2023-05-05T13:42:19Z)
• Using Hand Pose Estimation To Automate Open Surgery Training Feedback [0.0]
  本研究は,外科医の自動訓練における最先端のコンピュータビジョンアルゴリズムの利用を促進することを目的としている。 2次元手のポーズを推定することにより,手の動きをモデル化し,手術器具との相互作用をモデル化する。
  論文  参考訳（メタデータ） (2022-11-13T21:47:31Z)
• Context-Aware Sequence Alignment using 4D Skeletal Augmentation [67.05537307224525]
  コンピュータビジョン、ロボティクス、混合現実の多くの応用において、ビデオにおける人間の行動の微粒化の時間的アライメントが重要である。 本稿では,アクションのシーケンスを整列するコンテキスト認識型自己教師型学習アーキテクチャを提案する。 特に、CASAは、人間の行動の空間的・時間的文脈を組み込むために、自己注意と相互注意のメカニズムを採用している。
  論文  参考訳（メタデータ） (2022-04-26T10:59:29Z)
• CholecTriplet2021: A benchmark challenge for surgical action triplet recognition [66.51610049869393]
  腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。 課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。 4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
  論文  参考訳（メタデータ） (2022-04-10T18:51:55Z)
• A Temporal Learning Approach to Inpainting Endoscopic Specularities and Its effect on Image Correspondence [13.25903945009516]
  本稿では,時間的生成的対位ネットワーク(GAN)を用いて,隠蔽解剖学を特異性の下で描くことを提案する。 これは、胃内視鏡(Hyper-Kvasir)の生検データを用いて、完全に教師なしの方法で達成される。 また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスクにおける本手法の有効性を評価する。
  論文  参考訳（メタデータ） (2022-03-31T13:14:00Z)
• Attention Mechanisms in Computer Vision: A Survey [75.6074182122423]
  本稿では,コンピュータビジョンにおける様々な注意機構について概観する。 チャネルアテンション,空間アテンション,時間アテンション,分岐アテンションなど,アプローチによって分類する。 我々は注意機構研究の今後の方向性を提案する。
  論文  参考訳（メタデータ） (2021-11-15T09:18:40Z)
• Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical Procedures [70.69948035469467]
  カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。 次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
  論文  参考訳（メタデータ） (2021-06-09T14:35:44Z)
• Using Computer Vision to Automate Hand Detection and Tracking of Surgeon Movements in Videos of Open Surgery [8.095095522269352]
  コンピュータビジョンの進歩を活かし,外科手術の映像解析に自動的アプローチを導入する。 オブジェクト検出のための最先端の畳み込みニューラルネットワークアーキテクチャを使用して、開手術ビデオの操作手を検出する。 本モデルの操作手の空間的検出は、既存の手検出データセットを用いて達成した検出を大幅に上回る。
  論文  参考訳（メタデータ） (2020-12-13T03:10:09Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• Automatic Operating Room Surgical Activity Recognition for Robot-Assisted Surgery [1.1033115844630357]
  ロボット支援手術における自動手術活動認識について検討した。 400本のフル長マルチパースペクティブビデオを含む,最初の大規模データセットを収集する。 ビデオに最も認識され,臨床的に関係のある10のクラスで注釈を付ける。
  論文  参考訳（メタデータ） (2020-06-29T16:30:31Z)
• Towards Generalizable Surgical Activity Recognition Using Spatial Temporal Graph Convolutional Networks [0.40611352512781856]
  シーンの変動に頑健なモダリティを導入し、向きや相対的な空間関係などの部分情報を推測することができる。 提案したモダリティは,ビデオにおける外科的ツールの空間時間グラフ表現に基づいて,外科的活動認識を行う。
  論文  参考訳（メタデータ） (2020-01-11T09:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。