論文の概要: Toward a Surgeon-in-the-Loop Ophthalmic Robotic Apprentice using Reinforcement and Imitation Learning
- arxiv url: http://arxiv.org/abs/2311.17693v2
- Date: Thu, 28 Mar 2024 18:24:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 20:17:12.994836
- Title: Toward a Surgeon-in-the-Loop Ophthalmic Robotic Apprentice using Reinforcement and Imitation Learning
- Title(参考訳): 強化と模倣学習を用いた眼科ロボットのサージオンインザループ化に向けて
- Authors: Amr Gomaa, Bilal Mahdy, Niko Kleer, Antonio Krüger,
- Abstract要約: 眼内白内障手術における外科医中心の自律エージェントに対するシミュレーションに基づく画像誘導アプローチを提案する。
本研究は,外科医の行動と嗜好をトレーニングプロセスに組み込むことで,ロボットが個別の外科医の独特なアプローチを暗黙的に学習し適応することを可能にする。
我々のアプローチは、他の眼科手術に拡張する可能性があり、新しい世代の手術ロボットへの扉を開く。
- 参考スコア(独自算出の注目度): 18.72371138886818
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic-assisted surgical systems have demonstrated significant potential in enhancing surgical precision and minimizing human errors. However, existing systems lack the ability to accommodate the unique preferences and requirements of individual surgeons. Additionally, they primarily focus on general surgeries (e.g., laparoscopy) and are not suitable for highly precise microsurgeries, such as ophthalmic procedures. Thus, we propose a simulation-based image-guided approach for surgeon-centered autonomous agents that can adapt to the individual surgeon's skill level and preferred surgical techniques during ophthalmic cataract surgery. Our approach utilizes a simulated environment to train reinforcement and imitation learning agents guided by image data to perform all tasks of the incision phase of cataract surgery. By integrating the surgeon's actions and preferences into the training process with the surgeon-in-the-loop, our approach enables the robot to implicitly learn and adapt to the individual surgeon's unique approach through demonstrations. This results in a more intuitive and personalized surgical experience for the surgeon. Simultaneously, it ensures consistent performance for the autonomous robotic apprentice. We define and evaluate the effectiveness of our approach using our proposed metrics; and highlight the trade-off between a generic agent and a surgeon-centered adapted agent. Moreover, our approach has the potential to extend to other ophthalmic surgical procedures, opening the door to a new generation of surgeon-in-the-loop autonomous surgical robots. We provide an open-source simulation framework for future development and reproducibility.
- Abstract(参考訳): ロボットによる手術支援システムは、手術の精度を向上し、人間の誤りを最小化するための大きな可能性を示している。
しかし、既存のシステムは個々の外科医の独特な好みや要求を満たす能力に欠けていた。
さらに、主に一般的な手術(例えば、腹腔鏡)に焦点を当てており、眼科手術のような高精度な微小手術には適さない。
そこで本研究では,眼内白内障手術において,個々の外科医のスキルレベルに適応し,外科的テクニックを優先する,外科医中心の自律エージェントに対するシミュレーションに基づく画像誘導アプローチを提案する。
本手法は,白内障手術の切開フェーズのすべてのタスクを実行するために,画像データに導かれる強化学習エージェントを訓練するために,シミュレーション環境を利用する。
外科医の行動と嗜好をトレーニングプロセスに組み込むことで,ロボットは実演を通して個々の外科医のユニークなアプローチを暗黙的に学習し,適応することができる。
これにより、外科医にとってより直感的でパーソナライズされた外科的経験が得られる。
同時に、自律ロボットの見習いにとって一貫したパフォーマンスを確保する。
提案した指標を用いてアプローチの有効性を定義し,評価し,ジェネリックエージェントと外科医中心の適応エージェントとのトレードオフを強調した。
さらに,本手法は他の眼科手術にも応用できる可能性があり,新世代の手術ロボットへの扉を開くことができる。
今後の開発と再現性のためのオープンソースのシミュレーションフレームワークを提供する。
関連論文リスト
- Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
手術デジタル化は、外科デジタルツイン(SDT)とも呼ばれる現実世界の手術の仮想レプリカを作成する過程である。
現実的な条件下での脊髄手術に応用した手術デジタル化のための概念実証(PoC)を提案する。
5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
論文 参考訳(メタデータ) (2024-03-25T13:09:40Z) - Deep Multimodal Fusion for Surgical Feedback Classification [70.53297887843802]
外科的フィードバックの5カテゴリー分類を臨床的に検証した。
次に,テキスト,音声,ビデオモダリティの入力から,これらの5つのカテゴリの外科的フィードバックを分類するために,多ラベル機械学習モデルを開発した。
我々の研究の最終的な目標は、リアルタイムな文脈的外科的フィードバックのアノテーションを大規模に自動化することである。
論文 参考訳(メタデータ) (2023-12-06T01:59:47Z) - Learning Multi-modal Representations by Watching Hundreds of Surgical
Video Lectures [54.376834698110684]
本研究では,オープンな外科的eラーニングプラットフォームを通じて利用可能な手術ビデオ講義が,効果的な監視信号を提供することができるという考えを提起した。
我々は複数の補完的な自動音声認識システムを用いてテキストの書き起こしを生成する。
次に、多モーダル表現学習のための新しい方法、Surg - Surgery Vision Language Pre-trainingを提案する。
論文 参考訳(メタデータ) (2023-07-27T22:38:12Z) - Robotic Navigation Autonomy for Subretinal Injection via Intelligent
Real-Time Virtual iOCT Volume Slicing [88.99939660183881]
網膜下注射のための自律型ロボットナビゲーションの枠組みを提案する。
提案手法は,機器のポーズ推定方法,ロボットとi OCTシステム間のオンライン登録,およびインジェクションターゲットへのナビゲーションに適した軌道計画から構成される。
ブタ前眼の精度と再現性について実験を行った。
論文 参考訳(メタデータ) (2023-01-17T21:41:21Z) - Quantification of Robotic Surgeries with Vision-Based Deep Learning [45.165919577877695]
本稿では,手術中に録画されたビデオのみを対象とする統合型ディープラーニングフレームワークRoboformerを提案する。
我々は,ミニマル侵襲型ロボット手術において,一般的な2種類のステップの4つのビデオベースデータセットに対して,我々の枠組みを検証した。
論文 参考訳(メタデータ) (2022-05-06T06:08:35Z) - Integrating Artificial Intelligence and Augmented Reality in Robotic
Surgery: An Initial dVRK Study Using a Surgical Education Scenario [15.863254207155835]
我々は,人工知能の手術モジュールと拡張現実の可視化を統合した新しいロボット外科教育システムを開発した。
本システムは,外科教育課題ペグトランスファーの予備実験を通じて評価する。
論文 参考訳(メタデータ) (2022-01-02T17:34:10Z) - A real-time spatiotemporal AI model analyzes skill in open surgical
videos [2.4907439112059278]
これまでで最大のオープンな手術用ビデオデータセットであるYouTubeから、50か国からアップロードされた23の手術用プロシージャから1997年の動画を収集することで、AIモデルをトレーニングするための既存のデータ制限を克服しました。
我々は,手術行動,手,道具のリアルタイム理解が可能なマルチタスクAIモデルを開発した。
論文 参考訳(メタデータ) (2021-12-14T08:11:02Z) - Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical
Procedures [70.69948035469467]
カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。
次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
論文 参考訳(メタデータ) (2021-06-09T14:35:44Z) - "Train one, Classify one, Teach one" -- Cross-surgery transfer learning
for surgical step recognition [14.635480748841317]
私たちは、4つの異なる腹腔鏡手術における外科的ステップ認識を初めて分析します。
外科的ステップ認識の転送学習に最適化された新しいアーキテクチャであるTime-Series Adaptation Network(TSAN)を紹介します。
腹腔鏡下胆嚢摘出術を他の3種類の術式に移行した場合に90%以上の精度が得られた。
論文 参考訳(メタデータ) (2021-02-24T14:36:18Z) - Recurrent and Spiking Modeling of Sparse Surgical Kinematics [0.8458020117487898]
ますます多くの研究が、手術ロボットが捉えたビデオやキネマティックなデータを機械学習で分析している。
本研究では,同様のスキルレベルの外科医を予測するために,キネマティックデータのみを用いることの可能性を検討する。
本報告では, 運動特性のみに基づいて, シミュレーションエクササイズにおいて, ほぼ完全スコアの手術者を特定することが可能である。
論文 参考訳(メタデータ) (2020-05-12T15:41:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。