論文の概要: Robotic Surgery Remote Mentoring via AR with 3D Scene Streaming and Hand Interaction

• arxiv url: http://arxiv.org/abs/2204.04377v2
• Date: Thu, 29 Feb 2024 08:42:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 19:18:18.240270
• Title: Robotic Surgery Remote Mentoring via AR with 3D Scene Streaming and Hand Interaction
• Title（参考訳）: 3dシーンストリーミングとハンドインタラクションを用いたarによるロボット手術遠隔指導
• Authors: Yonghao Long, Chengkun Li, and Qi Dou
• Abstract要約: 本稿では,3次元シーンの可視化と自然な3次元手動インタラクションを併用した,ARによるロボット手術遠隔指導システムを提案する。 ヘッドマウントディスプレイ(HoloLens)を使用して、メンターは訓練生の操作側から流れる手順を遠隔で監視することができる。 実際の手術ステレオビデオと、一般的なロボット訓練作業の生き残りシナリオの両方において、本システムを検証した。
• 参考スコア（独自算出の注目度）: 14.64569748299962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the growing popularity of robotic surgery, education becomes increasingly important and urgently needed for the sake of patient safety. However, experienced surgeons have limited accessibility due to their busy clinical schedule or working in a distant city, thus can hardly provide sufficient education resources for novices. Remote mentoring, as an effective way, can help solve this problem, but traditional methods are limited to plain text, audio, or 2D video, which are not intuitive nor vivid. Augmented reality (AR), a thriving technique being widely used for various education scenarios, is promising to offer new possibilities of visual experience and interactive teaching. In this paper, we propose a novel AR-based robotic surgery remote mentoring system with efficient 3D scene visualization and natural 3D hand interaction. Using a head-mounted display (i.e., HoloLens), the mentor can remotely monitor the procedure streamed from the trainee's operation side. The mentor can also provide feedback directly with hand gestures, which is in-turn transmitted to the trainee and viewed in surgical console as guidance. We comprehensively validate the system on both real surgery stereo videos and ex-vivo scenarios of common robotic training tasks (i.e., peg-transfer and suturing). Promising results are demonstrated regarding the fidelity of streamed scene visualization, the accuracy of feedback with hand interaction, and the low-latency of each component in the entire remote mentoring system. This work showcases the feasibility of leveraging AR technology for reliable, flexible and low-cost solutions to robotic surgical education, and holds great potential for clinical applications.
• Abstract（参考訳）: ロボット手術の普及に伴い、患者の安全のためには、教育がますます重要かつ緊急に必要となる。 しかし、経験豊富な外科医は、多忙な臨床スケジュールや遠く離れた都市で働くため、初心者に十分な教育資源を提供できない。 リモートメンタリングは、効果的な方法でこの問題を解決するのに役立つが、従来の手法は、直感的でも鮮明でもない、平易なテキスト、オーディオ、あるいは2Dビデオに限られる。 さまざまな教育シナリオで広く利用されている拡張現実(ar)は、視覚体験とインタラクティブな教育の新しい可能性を提供することを約束している。 本稿では,3次元シーンの効率的な可視化と自然な3次元手操作による遠隔指導システムを提案する。 ヘッドマウントディスプレイ(HoloLens)を使用して、メンターは訓練者の操作側から流れる手順を遠隔で監視することができる。 メンターは、インターンで研修生に送信され、手術コンソールでガイダンスとして見られる手振りでフィードバックを直接提供することもできる。 実際の手術ステレオビデオと、ロボットの一般的な訓練タスク(ペグ転送と縫合)のvivoシナリオの両方において、システムを総合的に検証する。 遠隔メンタリングシステム全体において,ストリーム映像の忠実度,手作業によるフィードバックの精度,各コンポーネントの低遅延性について有望な結果が得られた。 この研究は、ロボット外科教育に対する信頼性、柔軟性、低コストのソリューションにAR技術を活用する可能性を示し、臨床応用に大きな可能性を秘めている。

関連論文リスト

• Open-TeleVision: Teleoperation with Immersive Active Visual Feedback [17.505318269362512]
  Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。 このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。 本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
  論文  参考訳（メタデータ） (2024-07-01T17:55:35Z)
• Mixed Reality Communication for Medical Procedures: Teaching the Placement of a Central Venous Catheter [5.0939439129897535]
  本稿では,手続き的スキルトレーニングへのアクセスを高め,遠隔救急支援を改善するための複合現実的リアルタイムコミュニケーションシステムを提案する。 RGBDカメラは、患者、オペレーター、医療機器を含むローカルシーンのボリュームビューをキャプチャする。 ボリュームキャプチャーは遠隔の専門家の視点に拡張され、専門家が視覚的および言語的指示を用いて局所的なオペレーターを空間的に導くことができる。
  論文  参考訳（メタデータ） (2023-12-14T03:11:20Z)
• Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
  人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
  論文  参考訳（メタデータ） (2023-10-04T17:59:38Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [51.78027546947034]
  外科的コンピュータビジョンの最近の進歩は、言語意味論に欠ける視覚のみのモデルによって推進されている。 本稿では,eラーニングプラットフォームからの手術ビデオ講義を活用し,効果的な視覚情報と言語監督信号を提供する。 テキスト書き起こしのための複数自動音声認識システムを用いて,手術固有の言語課題に対処する。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)
• Surgical tool classification and localization: results and methods from the MICCAI 2022 SurgToolLoc challenge [69.91670788430162]
  SurgLoc 2022 チャレンジの結果を示す。 目標は、ツール検出のためにトレーニングされた機械学習モデルにおいて、ツールの存在データを弱いラベルとして活用することだった。 これらの結果を機械学習と手術データ科学の幅広い文脈で論じることで結論付ける。
  論文  参考訳（メタデータ） (2023-05-11T21:44:39Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• Video-based Surgical Skills Assessment using Long term Tool Tracking [0.3324986723090368]
  手術症例ビデオフィードから外科的スキルを自動評価するための動きに基づくアプローチを提案する。 提案されたパイプラインは、まず外科的ツールを確実に追跡し、運動軌跡を作成する。 提案手法と最先端追跡手法を用いて,トランスフォーマーに基づくスキルアセスメントと従来の機械学習手法を比較した。
  論文  参考訳（メタデータ） (2022-07-05T18:15:28Z)
• DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from Video [86.49357517864937]
  DexVIPは,人間と物体のインタラクションビデオから,器用なロボットの把握を学習する手法である。 我々は、人間とオブジェクトのインタラクションビデオから把握した画像をキュレートし、エージェントの手のポーズに先行する。 DexVIPは、手ポーズの無い既存のアプローチや、特殊な遠隔操作機器に頼っている既存のアプローチと良好に比較できることを実証する。
  論文  参考訳（メタデータ） (2022-02-01T00:45:57Z)
• Integrating Artificial Intelligence and Augmented Reality in Robotic Surgery: An Initial dVRK Study Using a Surgical Education Scenario [15.863254207155835]
  我々は,人工知能の手術モジュールと拡張現実の可視化を統合した新しいロボット外科教育システムを開発した。 本システムは,外科教育課題ペグトランスファーの予備実験を通じて評価する。
  論文  参考訳（メタデータ） (2022-01-02T17:34:10Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。