論文の概要: Digital Twin-Driven VR Teleoperation with Multi-View Spatial Perception for Surgical Robots
- arxiv url: http://arxiv.org/abs/2609.25527v1
- Date: Tue, 22 Sep 2026 00:46:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.164841
- Title: Digital Twin-Driven VR Teleoperation with Multi-View Spatial Perception for Surgical Robots
- Title（参考訳）: 手術ロボットのための多視点空間認識を用いたデジタル双発VR遠隔操作
- Abstract要約: 現在のロボット支援最小侵襲手術(RMIS)プラットフォームは、外科医がステレオ内視鏡画像を見たり、患者の内部で機器を遠隔操作するための固定されたコンソールを提供する。
数人の研究者が、内視鏡画像の映像パススルーレンダリングを備えたポータブルコンソールとしてヘッドマウントディスプレイ(HMD)の使用を提案している。
本稿では,手術環境のマーカーレス認識からデジタルツインを創出する,デジタルツイン駆動バーチャルリアリティ(VR)遠隔操作プラットフォームを提案する。
- 参考スコア（独自算出の注目度）: 11.99544208361575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current robot-assisted minimally-invasive surgery (RMIS) platforms provide a fixed console for the surgeon to view stereo endoscopic images and teleoperate instruments inside the patient. Several researchers have proposed the use of a head-mounted display (HMD) as a portable console, with video pass-through rendering of the endoscope images which, like the fixed console, restricts the operator to a single endoscopic viewpoint and limits depth perception. We present a digital twin-driven virtual reality (VR) teleoperation platform, where the digital twin is created from markerless perception of the surgical environment and streamed for display on the HMD. This overcomes the limitations of video pass-through by providing multi-view rendering and natural motion-parallax cues, enabling decoupling of the user's hand posture from strict instrument alignment. The system utilizes VR hand controllers to increase the teleoperation workspace and to improve the robustness and stability of instrument control compared to the hand tracking approach adopted by most prior systems. A 15-participant user study on the da Vinci Research Kit (dVRK) shows that our VR platform significantly outperforms a state-of-the-art HoloLens 2 mixed reality baseline, reducing path length by 86% and jerk by 95%, while achieving depth perception confidence comparable to or exceeding the traditional console across all conditions.
- Abstract（参考訳）: 現在のロボット支援最小侵襲手術(RMIS)プラットフォームは、外科医がステレオ内視鏡画像を見たり、患者の内部で機器を遠隔操作するための固定されたコンソールを提供する。
数人の研究者が、ヘッドマウントディスプレイ(HMD)をポータブルコンソールとして使用することを提案し、固定コンソールと同様に、オペレータを単一の内視鏡的視点に制限し、奥行き知覚を制限する内視鏡画像の映像パススルーレンダリングを行った。
本稿では,デジタルツイン駆動バーチャルリアリティ(VR)遠隔操作プラットフォームについて紹介する。
これは、マルチビューレンダリングと自然なモーションパララックスキューを提供することによって、ビデオパススルーの限界を克服し、厳格な機器アライメントからユーザの手の位置を分離することを可能にする。
このシステムは,VRハンドコントローラを用いて遠隔操作作業空間を向上し,従来のほとんどのシステムで採用されているハンドトラッキング手法と比較して,機器制御の堅牢性と安定性を向上させる。
da Vinci Research Kit (dVRK)に関する15人の参加者による調査によると、私たちのVRプラットフォームは最先端のHoloLens 2混合現実のベースラインを著しく上回り、パスの長さを86%減らし、95%減らした。
関連論文リスト
- A Multi-View 3D Telepresence System for XR Robot Teleoperation [50.624253593914084]
効果的な遠隔操作には、信頼性の高い深度に基づく直感的な3次元可視化が必要である。
我々は、3台のカメラから幾何学を融合させ、スタンドアロンのVRハードウェア上でGPUアクセラレーションされたポイントクラウドレンダリングを生成する多視点VRテレプレゼンスシステムを導入する。
パイプラインはMeta Quest 3で約75kポイントのリアルタイムレンダリングをサポートしています。
論文 参考訳（メタデータ） (2026-04-04T13:22:12Z) - Learning Surgical Robotic Manipulation with 3D Spatial Priors [73.00031539525202]
本稿では,3次元空間認識を持つ手術ロボットを支援する,終端から終端までのバイスモータポリシーであるSSTを紹介した。
立体内視鏡画像から頑健な3次元潜伏表現を抽出するために、手術3Dに基づいて強力な幾何学変換器を微調整する。
SSTは、複雑な外科手術における最先端性能と強力な空間一般化を実現する。
論文 参考訳（メタデータ） (2026-03-04T07:19:56Z) - REFA: Real-time Egocentric Facial Animations for Virtual Reality [56.82169742343143]
バーチャルリアリティー(VR)ヘッドセットに埋め込まれた赤外線カメラのセットから得られたエゴセントリックなビューを用いて,表情をリアルタイムに追跡するシステムを提案する。
我々の技術は、仮想キャラクタの表情を非侵襲的に正確に駆動するのに役立つ。
論文 参考訳（メタデータ） (2026-01-07T01:41:46Z) - Multi-view Video-Pose Pretraining for Operating Room Surgical Activity Recognition [5.787586057526269]
外科的活動認識は、多視点カメラ記録から活動やフェーズを検出する重要なコンピュータビジョンタスクである。
既存のSARモデルは、細粒度のクリニックの動きや多視点の知識を説明できないことが多い。
本稿では, マルチビュー・プレトレーニング・フレームワークであるMultiview Pretraining for Video-Pose Surgery Activity Recognition PreViPSを提案する。
論文 参考訳（メタデータ） (2025-02-19T17:08:04Z) - Predicting 3D Motion from 2D Video for Behavior-Based VR Biometrics [7.609875877250929]
被験者の右側から取得した2Dボディジョイントを,外部の2Dカメラで撮影する手法を提案する。
本手法では,VRデバイスが追跡していない関節の2次元データを用いて,制御器の過去と将来の3次元トラックを予測する。
論文 参考訳（メタデータ） (2025-02-05T02:19:23Z) - EasyVis2: A Real Time Multi-view 3D Visualization System for Laparoscopic Surgery Training Enhanced by a Deep Neural Network YOLOv8-Pose [3.8000041849498127]
EasyVis2は、腹腔鏡下手術のためのハンズフリーでリアルタイムな3D視覚化を提供するように設計されている。
手術用のトロカーにマイクロカメラが装備されており、体腔に挿入して3D視界を提供することができる。
特殊なディープニューラルネットワークアルゴリズムであるYOLOv8-Poseを用いて、個々のカメラビューにおける手術器具の位置と向きを推定する。
論文 参考訳（メタデータ） (2024-12-21T19:26:19Z) - Towards a Pipeline for Real-Time Visualization of Faces for VR-based
Telepresence and Live Broadcasting Utilizing Neural Rendering [58.720142291102135]
バーチャルリアリティー用のヘッドマウントディスプレイ(HMD)は、VRにおける現実的な対面会話にかなりの障害をもたらす。
本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。
論文 参考訳（メタデータ） (2023-01-04T08:49:51Z) - VRContour: Bringing Contour Delineations of Medical Structures Into
Virtual Reality [16.726748230138696]
コントゥーリングは放射線療法(RT)治療計画において必須のステップである。
今日のコンツーリングソフトウェアは2Dディスプレイでしか動作せず、直感的でなく、高いタスク負荷を必要とする。
本稿では,VRContourを紹介するとともに,放射線オンコロジーのためのコンツーリングを効果的にVRに持ち込む方法について検討する。
論文 参考訳（メタデータ） (2022-10-21T23:22:21Z) - Unmasking Communication Partners: A Low-Cost AI Solution for Digitally
Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である
過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。
我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
論文 参考訳（メタデータ） (2020-11-06T23:17:12Z) - Augment Yourself: Mixed Reality Self-Augmentation Using Optical
See-through Head-mounted Displays and Physical Mirrors [49.49841698372575]
光シークレットヘッドマウントディスプレイ(OST HMD)は、仮想オブジェクトと物理シーンを融合して、没入型複合現実(MR)環境をユーザに提供するための重要な技術のひとつです。
我々は,OST HMDと物理ミラーを組み合わせて自己拡張を実現し,ユーザを中心とした没入型MR環境を提供する,新しいコンセプトとプロトタイプシステムを提案する。
我々のシステムでは、まず第一に、HMDに取り付けられたRGBDカメラを用いて鏡によって生成された仮想画像中のユーザのポーズを推定し、仮想オブジェクトを反射に固定する。
論文 参考訳（メタデータ） (2020-07-06T16:53:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。