論文の概要: Toward a Surgeon-in-the-Loop Ophthalmic Robotic Apprentice using Reinforcement and Imitation Learning
- arxiv url: http://arxiv.org/abs/2311.17693v3
- Date: Mon, 12 Aug 2024 16:52:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 00:38:36.479395
- Title: Toward a Surgeon-in-the-Loop Ophthalmic Robotic Apprentice using Reinforcement and Imitation Learning
- Title（参考訳）: 強化と模倣学習を用いた眼科ロボットのサージオンインザループ化に向けて
- Authors: Amr Gomaa, Bilal Mahdy, Niko Kleer, Antonio Krüger,
- Abstract要約: 眼内白内障手術における外科医中心の自律エージェントに対する画像誘導アプローチを提案する。
外科医の行動と嗜好をトレーニングプロセスに統合することにより、ロボットは個々の外科医のユニークなテクニックを暗黙的に学習し、適応することができる。
- 参考スコア（独自算出の注目度）: 18.72371138886818
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robot-assisted surgical systems have demonstrated significant potential in enhancing surgical precision and minimizing human errors. However, existing systems cannot accommodate individual surgeons' unique preferences and requirements. Additionally, they primarily focus on general surgeries (e.g., laparoscopy) and are unsuitable for highly precise microsurgeries, such as ophthalmic procedures. Thus, we propose an image-guided approach for surgeon-centered autonomous agents that can adapt to the individual surgeon's skill level and preferred surgical techniques during ophthalmic cataract surgery. Our approach trains reinforcement and imitation learning agents simultaneously using curriculum learning approaches guided by image data to perform all tasks of the incision phase of cataract surgery. By integrating the surgeon's actions and preferences into the training process, our approach enables the robot to implicitly learn and adapt to the individual surgeon's unique techniques through surgeon-in-the-loop demonstrations. This results in a more intuitive and personalized surgical experience for the surgeon while ensuring consistent performance for the autonomous robotic apprentice. We define and evaluate the effectiveness of our approach in a simulated environment using our proposed metrics and highlight the trade-off between a generic agent and a surgeon-centered adapted agent. Finally, our approach has the potential to extend to other ophthalmic and microsurgical procedures, opening the door to a new generation of surgeon-in-the-loop autonomous surgical robots. We provide an open-source simulation framework for future development and reproducibility at https://github.com/amrgomaaelhady/CataractAdaptSurgRobot.
- Abstract（参考訳）: ロボットによる手術支援システムは、手術精度の向上と人間の誤りの最小化に有意義な可能性を証明している。
しかし、既存のシステムは個々の外科医の独自の好みや要件を満たせない。
さらに、主に一般的な手術(例えば腹腔鏡)に焦点を合わせており、眼科手術のような高精度な微小手術には適さない。
そこで我々は,眼内白内障手術において,個々の外科医のスキルレベルに適応し,外科的テクニックを優先する,外科医中心の自律エージェントに対する画像誘導アプローチを提案する。
本手法は,白内障手術の切開フェーズのすべてのタスクを実行するために,画像データによって指導されたカリキュラム学習アプローチを用いて,強化学習エージェントと模倣学習エージェントを同時に訓練する。
本手法は,外科医の行動と嗜好をトレーニングプロセスに統合することにより,外科医によるループでのデモンストレーションを通じて,個々の外科医のユニークなテクニックを暗黙的に学習し,適応することを可能にする。
これにより、外科医にとってより直感的でパーソナライズされた外科的経験が得られ、自律型ロボットの見習いには一貫したパフォーマンスが確保される。
提案した指標を用いてシミュレーション環境でのアプローチの有効性を定義し評価し,汎用エージェントと外科医中心の適応エージェントとのトレードオフを強調した。
最後に、我々のアプローチは、他の眼科手術や微小外科手術にまで拡張する可能性があり、新しい世代の外科医の自律手術ロボットへの扉を開く。
我々は、https://github.com/amrgomaaelhady/CataractAdaptSurgRobot.comで、将来の開発と再現性のためのオープンソースのシミュレーションフレームワークを提供する。
関連論文リスト
- VS-Assistant: Versatile Surgery Assistant on the Demand of Surgeons [29.783300422432763]
外科医の意図を正確に理解できるVersatile Surgery Assistant (VS-Assistant)を提案する。
我々は,VS-Assistantが外科的意図を理解できるように,外科的ケア・チューニング戦略を考案した。
論文 参考訳（メタデータ） (2024-05-14T02:05:36Z) - Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。
脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。
5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
論文 参考訳（メタデータ） (2024-03-25T13:09:40Z) - Deep Multimodal Fusion for Surgical Feedback Classification [70.53297887843802]
外科的フィードバックの5カテゴリー分類を臨床的に検証した。
次に,テキスト,音声,ビデオモダリティの入力から,これらの5つのカテゴリの外科的フィードバックを分類するために,多ラベル機械学習モデルを開発した。
我々の研究の最終的な目標は、リアルタイムな文脈的外科的フィードバックのアノテーションを大規模に自動化することである。
論文 参考訳（メタデータ） (2023-12-06T01:59:47Z) - GLSFormer : Gated - Long, Short Sequence Transformer for Step
Recognition in Surgical Videos [57.93194315839009]
本稿では,シーケンスレベルのパッチから時間的特徴を直接学習するための視覚変換器に基づくアプローチを提案する。
本研究では,白内障手術用ビデオデータセットである白内障-101とD99に対するアプローチを広範に評価し,各種の最先端手法と比較して優れた性能を示した。
論文 参考訳（メタデータ） (2023-07-20T17:57:04Z) - Demonstration-Guided Reinforcement Learning with Efficient Exploration
for Task Automation of Surgical Robot [54.80144694888735]
効率的な強化学習アルゴリズムであるDEX(Demonstration-Guided Exploration)を導入する。
本手法は,生産的相互作用を促進するために,高い値で専門家のような行動を推定する。
総合的な手術シミュレーションプラットフォームであるSurRoLによる10ドルの手術操作に関する実験では、大幅な改善が示されている。
論文 参考訳（メタデータ） (2023-02-20T05:38:54Z) - Robotic Navigation Autonomy for Subretinal Injection via Intelligent
Real-Time Virtual iOCT Volume Slicing [88.99939660183881]
網膜下注射のための自律型ロボットナビゲーションの枠組みを提案する。
提案手法は,機器のポーズ推定方法,ロボットとi OCTシステム間のオンライン登録,およびインジェクションターゲットへのナビゲーションに適した軌道計画から構成される。
ブタ前眼の精度と再現性について実験を行った。
論文 参考訳（メタデータ） (2023-01-17T21:41:21Z) - Quantification of Robotic Surgeries with Vision-Based Deep Learning [45.165919577877695]
本稿では,手術中に録画されたビデオのみを対象とする統合型ディープラーニングフレームワークRoboformerを提案する。
我々は,ミニマル侵襲型ロボット手術において,一般的な2種類のステップの4つのビデオベースデータセットに対して,我々の枠組みを検証した。
論文 参考訳（メタデータ） (2022-05-06T06:08:35Z) - Integrating Artificial Intelligence and Augmented Reality in Robotic
Surgery: An Initial dVRK Study Using a Surgical Education Scenario [15.863254207155835]
我々は,人工知能の手術モジュールと拡張現実の可視化を統合した新しいロボット外科教育システムを開発した。
本システムは,外科教育課題ペグトランスファーの予備実験を通じて評価する。
論文 参考訳（メタデータ） (2022-01-02T17:34:10Z) - A real-time spatiotemporal AI model analyzes skill in open surgical
videos [2.4907439112059278]
これまでで最大のオープンな手術用ビデオデータセットであるYouTubeから、50か国からアップロードされた23の手術用プロシージャから1997年の動画を収集することで、AIモデルをトレーニングするための既存のデータ制限を克服しました。
我々は,手術行動,手,道具のリアルタイム理解が可能なマルチタスクAIモデルを開発した。
論文 参考訳（メタデータ） (2021-12-14T08:11:02Z) - "Train one, Classify one, Teach one" -- Cross-surgery transfer learning
for surgical step recognition [14.635480748841317]
私たちは、4つの異なる腹腔鏡手術における外科的ステップ認識を初めて分析します。
外科的ステップ認識の転送学習に最適化された新しいアーキテクチャであるTime-Series Adaptation Network(TSAN)を紹介します。
腹腔鏡下胆嚢摘出術を他の3種類の術式に移行した場合に90%以上の精度が得られた。
論文 参考訳（メタデータ） (2021-02-24T14:36:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。