論文の概要: Vision-Based Neurosurgical Guidance: Unsupervised Localization and Camera-Pose Prediction
- arxiv url: http://arxiv.org/abs/2405.09355v1
- Date: Wed, 15 May 2024 14:09:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-16 13:16:53.550232
- Title: Vision-Based Neurosurgical Guidance: Unsupervised Localization and Camera-Pose Prediction
- Title（参考訳）: 視覚に基づく神経外科的指導 : 教師なしの局所化とカメラポーズ予測
- Authors: Gary Sarwin, Alessandro Carretta, Victor Staartjes, Matteo Zoli, Diego Mazzatenta, Luca Regli, Carlo Serra, Ender Konukoglu,
- Abstract要約: 内視鏡的処置中に自分自身を位置決めすることは、区別可能なテクスチャやランドマークが欠如しているため、問題となることがある。
本稿では,解剖学的認識に基づく深層学習手法を提案する。
- 参考スコア（独自算出の注目度）: 41.91807060434709
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Localizing oneself during endoscopic procedures can be problematic due to the lack of distinguishable textures and landmarks, as well as difficulties due to the endoscopic device such as a limited field of view and challenging lighting conditions. Expert knowledge shaped by years of experience is required for localization within the human body during endoscopic procedures. In this work, we present a deep learning method based on anatomy recognition, that constructs a surgical path in an unsupervised manner from surgical videos, modelling relative location and variations due to different viewing angles. At inference time, the model can map an unseen video's frames on the path and estimate the viewing angle, aiming to provide guidance, for instance, to reach a particular destination. We test the method on a dataset consisting of surgical videos of transsphenoidal adenomectomies, as well as on a synthetic dataset. An online tool that lets researchers upload their surgical videos to obtain anatomy detections and the weights of the trained YOLOv7 model are available at: https://surgicalvision.bmic.ethz.ch.
- Abstract（参考訳）: 内視鏡的処置中に自分自身を位置決めすることは、識別可能なテクスチャやランドマークの欠如や、視野の制限や照明条件の難しさなど、内視鏡的装置の難しさから問題となる可能性がある。
長年の経験によって形成された専門家の知識は、内視鏡手術中に人体内での局在に必要である。
本研究では,解剖学的認識に基づく深層学習手法を提案する。手術映像から教師なしの方法で手術経路を構築し,異なる視角による相対的位置と変動をモデル化する。
推測時に、モデルは、見えないビデオのフレームを経路にマッピングし、例えば特定の目的地に到達するためのガイダンスを提供することを目的として、視角を推定することができる。
本手法は, トランスフェニダルアデノメクトミーの手術ビデオからなるデータセットと, 合成データセットを用いて試験を行った。
研究者が手術ビデオをアップロードして解剖学的検出と、訓練済みのYOLOv7モデルの重量を入手するオンラインツールは、https://surgicalvision.bmic.ethz.ch.comで公開されている。
関連論文リスト
- Efficient Data-driven Scene Simulation using Robotic Surgery Videos via Physics-embedded 3D Gaussians [19.590481146949685]
立体内視鏡画像から3D Gaussianを学習可能な手術シーンの表現として紹介する。
本研究では3次元ガウスに物理特性を統合したマテリアルポイント法を適用し,現実的なシーン変形を実現する。
以上の結果から,内視鏡的画像から外科的シーンを効率的に再構成し,シミュレートし,外科的シーンを再構築するのにほんの数分しか要しないことが明らかとなった。
論文 参考訳（メタデータ） (2024-05-02T02:34:19Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳（メタデータ） (2024-03-18T19:13:02Z) - Endora: Video Generation Models as Endoscopy Simulators [53.72175969751398]
本稿では,臨床内視鏡シーンをシミュレートする医用ビデオを作成するための革新的な手法であるモデルを紹介する。
また、ビデオ生成モデルを用いた内視鏡シミュレーションのための最初の公開ベンチマークを開拓した。
Endoraは、臨床内視鏡研究のための生成AIの展開において、注目すべきブレークスルーとなる。
論文 参考訳（メタデータ） (2024-03-17T00:51:59Z) - BASED: Bundle-Adjusting Surgical Endoscopic Dynamic Video Reconstruction
using Neural Radiance Fields [6.5628505052520865]
内視鏡的映像から変形可能なシーンを再現することは,多くの応用において重要である。
我々の研究は、シーンの3D暗黙的表現を学習するために、NeRF(Neural Radiance Fields)アプローチを採用しています。
本稿では,ロボット手術の内視鏡的手術シーンについて述べる。
論文 参考訳（メタデータ） (2023-09-27T00:20:36Z) - Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose
Estimation of Surgical Instruments [66.74633676595889]
静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。
第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。
第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
論文 参考訳（メタデータ） (2023-05-05T13:42:19Z) - Learning How To Robustly Estimate Camera Pose in Endoscopic Videos [5.073761189475753]
カメラポーズ推定における2つの幾何学的損失を最小限に抑えるために,奥行きと光学的流れを推定するステレオ内視鏡の解を提案する。
最も重要なことは、入力画像の内容に応じてコントリビューションのバランスをとるために、2つの学習された画素単位の重みマッピングを導入することである。
パブリックなSCAREDデータセットに対する我々のアプローチを検証するとともに、新たなインビボデータセットであるStereoMISを導入しています。
論文 参考訳（メタデータ） (2023-04-17T07:05:01Z) - Live image-based neurosurgical guidance and roadmap generation using
unsupervised embedding [53.992124594124896]
本稿では,注釈付き脳外科ビデオの大規模なデータセットを活用するライブ画像のみのガイダンスを提案する。
生成されたロードマップは、トレーニングセットの手術で取られた一般的な解剖学的パスをエンコードする。
166例の腹腔鏡下腺摘出術を施行し,本法の有効性について検討した。
論文 参考訳（メタデータ） (2023-03-31T12:52:24Z) - A Temporal Learning Approach to Inpainting Endoscopic Specularities and
Its effect on Image Correspondence [13.25903945009516]
本稿では,時間的生成的対位ネットワーク(GAN)を用いて,隠蔽解剖学を特異性の下で描くことを提案する。
これは、胃内視鏡(Hyper-Kvasir)の生検データを用いて、完全に教師なしの方法で達成される。
また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスクにおける本手法の有効性を評価する。
論文 参考訳（メタデータ） (2022-03-31T13:14:00Z) - Towards Unsupervised Learning for Instrument Segmentation in Robotic
Surgery with Cycle-Consistent Adversarial Networks [54.00217496410142]
本稿では、入力された内視鏡画像と対応するアノテーションとのマッピングを学習することを目的として、未ペア画像から画像への変換を提案する。
当社のアプローチでは,高価なアノテーションを取得することなく,イメージセグメンテーションモデルをトレーニングすることが可能です。
提案手法をEndovis 2017チャレンジデータセットで検証し,教師付きセグメンテーション手法と競合することを示す。
論文 参考訳（メタデータ） (2020-07-09T01:39:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。