論文の概要: A real-time spatiotemporal AI model analyzes skill in open surgical
videos
- arxiv url: http://arxiv.org/abs/2112.07219v1
- Date: Tue, 14 Dec 2021 08:11:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-15 14:40:06.556350
- Title: A real-time spatiotemporal AI model analyzes skill in open surgical
videos
- Title(参考訳): リアルタイム時空間AIモデルによるオープン手術ビデオのスキル分析
- Authors: Emmett D. Goodman, Krishna K. Patel, Yilun Zhang, William Locke, Chris
J. Kennedy, Rohan Mehrotra, Stephen Ren, Melody Guan, Maren Downing, Hao Wei
Chen, Jevin Z. Clark, Gabriel A. Brat, Serena Yeung
- Abstract要約: これまでで最大のオープンな手術用ビデオデータセットであるYouTubeから、50か国からアップロードされた23の手術用プロシージャから1997年の動画を収集することで、AIモデルをトレーニングするための既存のデータ制限を克服しました。
我々は,手術行動,手,道具のリアルタイム理解が可能なマルチタスクAIモデルを開発した。
- 参考スコア(独自算出の注目度): 2.4907439112059278
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open procedures represent the dominant form of surgery worldwide. Artificial
intelligence (AI) has the potential to optimize surgical practice and improve
patient outcomes, but efforts have focused primarily on minimally invasive
techniques. Our work overcomes existing data limitations for training AI models
by curating, from YouTube, the largest dataset of open surgical videos to date:
1997 videos from 23 surgical procedures uploaded from 50 countries. Using this
dataset, we developed a multi-task AI model capable of real-time understanding
of surgical behaviors, hands, and tools - the building blocks of procedural
flow and surgeon skill. We show that our model generalizes across diverse
surgery types and environments. Illustrating this generalizability, we directly
applied our YouTube-trained model to analyze open surgeries prospectively
collected at an academic medical center and identified kinematic descriptors of
surgical skill related to efficiency of hand motion. Our Annotated Videos of
Open Surgery (AVOS) dataset and trained model will be made available for
further development of surgical AI.
- Abstract(参考訳): オープンプロシージャは世界中で主要な手術形態である。
ai(artificial intelligence, 人工知能)は、外科手術を最適化し、患者の予後を改善する可能性を秘めている。
我々の研究は、現在50カ国からアップロードされた23の手術手順の1997年の動画をキュレートすることで、aiモデルのトレーニングのための既存のデータ制限を克服しています。
このデータセットを用いて,手術の動作や手,ツールのリアルタイム理解を可能にするマルチタスクaiモデルを開発した。
我々のモデルは様々な手術の種類や環境にまたがって一般化している。
この一般化性を図示するために,本研究は,大学医療センターで前向きに収集したオープンサージリーをYouTubeトレーニングモデルに直接適用し,手の動きの効率に関する外科的スキルのキネマティック記述者を特定した。
我々のアノテーション付きオープン手術ビデオ(AVOS)データセットとトレーニングされたモデルは、外科用AIのさらなる開発のために利用できる。
関連論文リスト
- General surgery vision transformer: A video pre-trained foundation model
for general surgery [2.8151416427118643]
現在までに680時間に及ぶ手術ビデオのデータセットをオープンソース化しています。
本稿では,前方映像予測に基づく手術映像における一般手術視変換器(GSViT)の事前訓練手法を提案する。
論文 参考訳(メタデータ) (2024-03-09T16:02:46Z) - Toward a Surgeon-in-the-Loop Ophthalmic Robotic Apprentice using
Reinforcement and Imitation Learning [0.8520624117635328]
眼内白内障手術における外科医中心の自律エージェントに対するシミュレーションに基づく画像誘導アプローチを提案する。
本研究は,外科医の行動と嗜好をトレーニングプロセスに組み込むことで,ロボットが個別の外科医の独特なアプローチを暗黙的に学習し適応することを可能にする。
我々のアプローチは、他の眼科手術に拡張する可能性があり、新しい世代の手術ロボットへの扉を開く。
論文 参考訳(メタデータ) (2023-11-29T15:00:06Z) - SAMSNeRF: Segment Anything Model (SAM) Guides Dynamic Surgical Scene
Reconstruction by Neural Radiance Field (NeRF) [4.740415113160021]
本稿では,Segment Anything Model(SAM)とNeRF技術を組み合わせたSAMSNeRFという新しい手法を提案する。
内視鏡下外科的画像を用いた実験の結果,高忠実度ダイナミックな手術シーンの再構築に成功していることが示された。
論文 参考訳(メタデータ) (2023-08-22T20:31:00Z) - Learning Multi-modal Representations by Watching Hundreds of Surgical
Video Lectures [54.376834698110684]
本研究では,オープンな外科的eラーニングプラットフォームを通じて利用可能な手術ビデオ講義が,効果的な監視信号を提供することができるという考えを提起した。
我々は複数の補完的な自動音声認識システムを用いてテキストの書き起こしを生成する。
次に、多モーダル表現学習のための新しい方法、Surg - Surgery Vision Language Pre-trainingを提案する。
論文 参考訳(メタデータ) (2023-07-27T22:38:12Z) - Surgical tool classification and localization: results and methods from
the MICCAI 2022 SurgToolLoc challenge [69.91670788430162]
SurgLoc 2022 チャレンジの結果を示す。
目標は、ツール検出のためにトレーニングされた機械学習モデルにおいて、ツールの存在データを弱いラベルとして活用することだった。
これらの結果を機械学習と手術データ科学の幅広い文脈で論じることで結論付ける。
論文 参考訳(メタデータ) (2023-05-11T21:44:39Z) - Adaptation of Surgical Activity Recognition Models Across Operating
Rooms [10.625208343893911]
手術室における手術活動認識モデルの一般化可能性について検討した。
外科的活動認識モデルの性能を向上させるための新しい領域適応法を提案する。
論文 参考訳(メタデータ) (2022-07-07T04:41:34Z) - Quantification of Robotic Surgeries with Vision-Based Deep Learning [45.165919577877695]
本稿では,手術中に録画されたビデオのみを対象とする統合型ディープラーニングフレームワークRoboformerを提案する。
我々は,ミニマル侵襲型ロボット手術において,一般的な2種類のステップの4つのビデオベースデータセットに対して,我々の枠組みを検証した。
論文 参考訳(メタデータ) (2022-05-06T06:08:35Z) - CholecTriplet2021: A benchmark challenge for surgical action triplet
recognition [66.51610049869393]
腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。
課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。
4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
論文 参考訳(メタデータ) (2022-04-10T18:51:55Z) - Using Computer Vision to Automate Hand Detection and Tracking of Surgeon
Movements in Videos of Open Surgery [8.095095522269352]
コンピュータビジョンの進歩を活かし,外科手術の映像解析に自動的アプローチを導入する。
オブジェクト検出のための最先端の畳み込みニューラルネットワークアーキテクチャを使用して、開手術ビデオの操作手を検出する。
本モデルの操作手の空間的検出は、既存の手検出データセットを用いて達成した検出を大幅に上回る。
論文 参考訳(メタデータ) (2020-12-13T03:10:09Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳(メタデータ) (2020-11-03T11:00:10Z) - LRTD: Long-Range Temporal Dependency based Active Learning for Surgical
Workflow Recognition [67.86810761677403]
本稿では,費用対効果の高い手術ビデオ解析のための新しい能動的学習法を提案する。
具体的には,非局所的再帰的畳み込みネットワーク (NL-RCNet) を提案する。
手術ワークフロー認識タスクを実行することで,大規模な手術ビデオデータセット(Cholec80)に対するアプローチを検証する。
論文 参考訳(メタデータ) (2020-04-21T09:21:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。