論文の概要: Identification of Cognitive Workload during Surgical Tasks with
Multimodal Deep Learning
- arxiv url: http://arxiv.org/abs/2209.06208v1
- Date: Mon, 12 Sep 2022 18:29:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-15 13:02:10.163308
- Title: Identification of Cognitive Workload during Surgical Tasks with
Multimodal Deep Learning
- Title（参考訳）: マルチモーダル深層学習による手術作業時の認知負荷の同定
- Authors: Kaizhe Jin, Adrian Rubio-Solis, Ravik Nain, Tochukwu Onyeogulu, Amirul
Islam, Salman Khan, Tochukwu Onyeogulu, Amirul Islam, Salman Khan, Izzeddin
Teeti, Fabio Cuzzolin and George Mylonas
- Abstract要約: 関連する認知ワークロード(CWL)の増加は、予期せぬ、反復的なタスクへの対処から生じる。
本稿では,CWLのマルチモーダル認識のための2つの機械学習手法のカスケードを提案する。
畳み込みニューラルネットワーク(CNN)は、この情報を用いて、各手術タスクに関連するさまざまなタイプのCWLを識別する。
- 参考スコア（独自算出の注目度）: 20.706268332427157
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In operating Rooms (ORs), activities are usually different from other typical
working environments. In particular, surgeons are frequently exposed to
multiple psycho-organizational constraints that may cause negative
repercussions on their health and performance. This is commonly attributed to
an increase in the associated Cognitive Workload (CWL) that results from
dealing with unexpected and repetitive tasks, as well as large amounts of
information and potentially risky cognitive overload. In this paper, a cascade
of two machine learning approaches is suggested for the multimodal recognition
of CWL in a number of four different surgical tasks. First, a model based on
the concept of transfer learning is used to identify if a surgeon is
experiencing any CWL. Secondly, a Convolutional Neural Network (CNN) uses this
information to identify different types of CWL associated to each surgical
task. The suggested multimodal approach consider adjacent signals from
electroencephalogram (EEG), functional near-infrared spectroscopy (fNIRS) and
pupil eye diameter. The concatenation of signals allows complex correlations in
terms of time (temporal) and channel location (spatial). Data collection is
performed by a Multi-sensing AI Environment for Surgical Task $\&$ Role
Optimisation platform (MAESTRO) developed at HARMS Lab. To compare the
performance of the proposed methodology, a number of state-of-art machine
learning techniques have been implemented. The tests show that the proposed
model has a precision of 93%.
- Abstract（参考訳）: 操作室(OR)では、活動は他の典型的な作業環境とは異なる。
特に外科医は、健康やパフォーマンスに悪影響を及ぼす複数の精神組織的制約にさらされることが多い。
これは一般的に、予期せぬ、反復的なタスク、大量の情報、潜在的に危険を伴う認知的過負荷に対処する結果として生じる、関連する認知的ワークロード(CWL)の増加によるものである。
本稿では,4つの異なる手術課題におけるcwlのマルチモーダル認識のために,2つの機械学習手法のカスケードを提案する。
まず、移植学習の概念に基づくモデルを用いて、外科医がCWLを経験しているかどうかを特定する。
次に、畳み込みニューラルネットワーク(CNN)は、この情報を用いて、各手術タスクに関連するさまざまなタイプのCWLを識別する。
提案するマルチモーダルアプローチは、脳波(EEG)、機能近赤外分光(fNIRS)、瞳孔径からの隣接信号を考慮する。
信号の結合は時間(時間的)とチャネルの位置(空間的)で複雑な相関を可能にする。
データ収集は、HARMS Labで開発されたMulti-Sensing AI Environment for surgery Task $\&$ Role Optimisation platform (MAESTRO)によって実行される。
提案手法の性能を比較するため,多くの最先端の機械学習技術が実装されている。
実験の結果,提案モデルの精度は93%であった。
関連論文リスト
- LLM-Assisted Multi-Teacher Continual Learning for Visual Question Answering in Robotic Surgery [57.358568111574314]
患者のデータのプライバシは、モデル更新時に古いデータの可用性を制限することが多い。
CL研究は外科領域で2つの重要な問題を見落としていた。
本稿では,多モーダル大規模言語モデル (LLM) と適応重み付け手法を用いて,これらの問題に対処することを提案する。
論文 参考訳（メタデータ） (2024-02-26T15:35:24Z) - ST(OR)2: Spatio-Temporal Object Level Reasoning for Activity Recognition
in the Operating Room [6.132617753806978]
ORにおける外科的活動認識のための新しい試料効率およびオブジェクトベースアプローチを提案する。
本手法は, 臨床医と手術器具の幾何学的配置に着目し, ORにおける重要な物体相互作用のダイナミクスを活用する。
論文 参考訳（メタデータ） (2023-12-19T15:33:57Z) - Jumpstarting Surgical Computer Vision [2.7396997668655163]
我々は、多様な外科的データセットを柔軟に活用するために、自己教師付き学習を採用する。
腹腔鏡下胆嚢摘出術と腹腔鏡下子宮摘出術の位相認識と安全性の検討を行った。
事前トレーニングデータセットの構成は、さまざまな下流タスクに対するSSLメソッドの有効性に大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2023-12-10T18:54:16Z) - Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。
最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
論文 参考訳（メタデータ） (2023-07-28T14:51:09Z) - Dissecting Self-Supervised Learning Methods for Surgical Computer Vision [51.370873913181605]
一般のコンピュータビジョンコミュニティでは,自己監視学習(SSL)手法が普及し始めている。
医学や手術など、より複雑で影響力のある領域におけるSSLメソッドの有効性は、限定的かつ未調査のままである。
外科的文脈理解,位相認識,ツール存在検出の2つの基本的なタスクに対して,これらの手法の性能をColec80データセット上で広範囲に解析する。
論文 参考訳（メタデータ） (2022-07-01T14:17:11Z) - CholecTriplet2021: A benchmark challenge for surgical action triplet
recognition [66.51610049869393]
腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。
課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。
4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
論文 参考訳（メタデータ） (2022-04-10T18:51:55Z) - Learning Invariant Representation of Tasks for Robust Surgical State
Estimation [39.515036686428836]
外科的タスク不変状態推定ネットワークであるStiseNetを提案する。
StiseNetは、RASデータセット固有の外科的テクニックや手術環境のバリエーションの影響を最小限に抑える。
3つのデータセット上での最先端状態推定法より優れていることを示す。
論文 参考訳（メタデータ） (2021-02-18T02:32:50Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳（メタデータ） (2020-11-03T11:00:10Z) - Aggregating Long-Term Context for Learning Laparoscopic and
Robot-Assisted Surgical Workflows [40.48632897750319]
本稿では,タスク固有のネットワーク表現を利用した時間的ネットワーク構造を提案する。
腹腔鏡下胆嚢摘出術を施行した。
論文 参考訳（メタデータ） (2020-09-01T20:29:14Z) - LRTD: Long-Range Temporal Dependency based Active Learning for Surgical
Workflow Recognition [67.86810761677403]
本稿では,費用対効果の高い手術ビデオ解析のための新しい能動的学習法を提案する。
具体的には,非局所的再帰的畳み込みネットワーク (NL-RCNet) を提案する。
手術ワークフロー認識タスクを実行することで,大規模な手術ビデオデータセット(Cholec80)に対するアプローチを検証する。
論文 参考訳（メタデータ） (2020-04-21T09:21:22Z) - TeCNO: Surgical Phase Recognition with Multi-Stage Temporal
Convolutional Networks [43.95869213955351]
外科的位相認識のための階層的予測補正を行う多段階時間畳み込みネットワーク(MS-TCN)を提案する。
本手法は腹腔鏡下胆嚢摘出術ビデオの2つのデータセットに対して,追加の外科的ツール情報を用いずに徹底的に評価した。
論文 参考訳（メタデータ） (2020-03-24T10:12:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。