論文の概要: SurgSync: Time-Synchronized Multi-Modal Data Collection Framework and Dataset for Surgical Robotics
- arxiv url: http://arxiv.org/abs/2603.06919v1
- Date: Fri, 06 Mar 2026 22:38:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 08:17:42.021417
- Title: SurgSync: Time-Synchronized Multi-Modal Data Collection Framework and Dataset for Surgical Robotics
- Title（参考訳）: SurgSync: 手術ロボットのための時間同期マルチモーダルデータ収集フレームワークとデータセット
- Authors: Haoying Zhou, Chang Liu, Yimeng Wu, Junlin Wu, Zijian Wu, Yu Chung Lee, Sara Martuscelli, Spetimiu E. Salcudean, Gregory S. Fischer, Peter Kazanzides,
- Abstract要約: SurgSyncは、オフラインおよびオンライン同期を備えたマルチモーダルデータ収集フレームワークで、トレーニングとリアルタイム推論をサポートする。
このフレームワークはda Vinci Research Kit (dVRK)で実装されている。
- 参考スコア（独自算出の注目度）: 10.525174085495314
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Most existing robotic surgery systems adopt a human-in-the-loop paradigm, often with the surgeon directly teleoperating the robotic system. Adding intelligence to these robots would enable higher-level control, such as supervised autonomy or even full autonomy. However, artificial intelligence (AI) requires large amounts of training data, which is currently lacking. This work proposes SurgSync, a multi-modal data collection framework with offline and online synchronization to support training and real-time inference, respectively. The framework is implemented on a da Vinci Research Kit (dVRK) and introduces (1) dual-mode (online/offline-matching) synchronized recorders, (2) a modern stereo endoscope to achieve image quality on par with clinical systems, and (3) additional sensors such as a side-view camera and a novel capacitive contact sensor to provide ground truth contact data. The framework also incorporates a post-processing toolbox for tasks such as depth estimation, optical flow, and a practical kinematic reprojection method using Gaussian heatmap. User studies with participants of varying skill levels are performed with ex-vivo tissue to provide clinically realistic data, and a network for surgical skill assessment is employed to demonstrate utilization of the collected data. Through the user study experiments, we obtained a dataset of 214 validated instances across multiple canonical training tasks. All software and data are available at surgsync.github.io.
- Abstract（参考訳）: 既存のロボット手術システムでは、しばしば外科医がロボットシステムを直接遠隔操作する。
これらのロボットにインテリジェンスを加えることで、監督された自律性や完全な自律性など、より高いレベルのコントロールが可能になる。
しかし、人工知能(AI)は大量のトレーニングデータを必要としており、現在不足している。
この研究は、トレーニングとリアルタイム推論をサポートするオフラインとオンラインの同期を備えたマルチモーダルデータ収集フレームワークであるSurgSyncを提案する。
本フレームワークはda Vinci Research Kit(dVRK)上に実装され,(1)デュアルモード(オンライン/オフラインマッチング)同期記録装置,(2)臨床システムと同等の画像品質を実現する最新のステレオ内視鏡,(3)サイドビューカメラや新しいコンデンサコンタクトセンサなどのセンサを付加して,地上の真実接触データを提供する。
このフレームワークには、深さ推定、光学フローなどのタスクのための後処理用ツールボックスや、ガウス熱マップを用いた実用的なキネマティック・リプロジェクション手法も組み込まれている。
様々なスキルレベルの参加者によるユーザスタディは、臨床的に現実的なデータを提供するために、前生体組織を用いて実施され、この収集データの利用を実証するために、外科的スキルアセスメントのためのネットワークが使用される。
ユーザスタディ実験により、複数の標準トレーニングタスクにまたがる214の検証済みインスタンスのデータセットを得た。
すべてのソフトウェアとデータはsurgsync.github.ioで利用可能である。
関連論文リスト
- MiDAS: A Multimodal Data Acquisition System and Dataset for Robot-Assisted Minimally Invasive Surgery [4.287077788799387]
MiDASは、手術用ロボットプラットフォーム全体にわたる、時間同期で非侵襲的なマルチモーダルデータ取得のためのプラットフォームに依存しないシステムである。
オープンソース Raven-II と da Vinci Xi のMIDAS をペグ転送とヘルニア修復作業のマルチモーダルデータセットを用いて検証した。
論文 参考訳（メタデータ） (2026-02-12T20:56:15Z) - Synthetic Dataset Generation for Autonomous Mobile Robots Using 3D Gaussian Splatting for Vision Training [0.708987965338602]
本論文では,Unreal Engineにおける注釈付き合成データの自動生成手法を提案する。
合成データセットが実世界のデータセットに匹敵する性能を達成できることを実証する。
これは、ロボットサッカーにおけるオブジェクト検出アルゴリズムのトレーニングのための合成データの最初の応用である。
論文 参考訳（メタデータ） (2025-06-05T14:37:40Z) - dARt Vinci: Egocentric Data Collection for Surgical Robot Learning at Scale [9.732963094538837]
本稿では,手術環境におけるロボット学習のためのスケーラブルなデータ収集プラットフォームであるdARt Vinciを紹介する。
このシステムは、Augmented Reality(AR)ハンドトラッキングと高忠実度物理エンジンを使って、原始的な外科手術の微妙な操作を捉えている。
論文 参考訳（メタデータ） (2025-03-07T18:07:54Z) - OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis [55.390060529534644]
グラフィカルユーザインタフェース(GUI)エージェントのための新しいデータ合成パイプラインであるOS-Genesisを提案する。
事前に定義されたタスクに頼る代わりに、OS-Genesisはエージェントがまず環境を認識し、ステップワイドなインタラクションを実行することを可能にする。
我々は,OS-Genesisを用いたGUIエージェントのトレーニングにより,高度に挑戦するオンラインベンチマークの性能が大幅に向上することが実証された。
論文 参考訳（メタデータ） (2024-12-27T16:21:58Z) - Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳（メタデータ） (2023-10-23T17:50:08Z) - Dialogue-Contextualized Re-ranking for Medical History-Taking [5.039849340960835]
本稿では,第1段階の質問候補を再ランク付けすることで,トレーニングと推論のギャップを埋める2段階の再ランク付け手法を提案する。
専門家システムと比較して,提案するトランスフォーマーバックボーンを用いたグローバルリランカにより,最高の性能が得られることがわかった。
論文 参考訳（メタデータ） (2023-04-04T17:31:32Z) - Robotic Navigation Autonomy for Subretinal Injection via Intelligent
Real-Time Virtual iOCT Volume Slicing [88.99939660183881]
網膜下注射のための自律型ロボットナビゲーションの枠組みを提案する。
提案手法は,機器のポーズ推定方法,ロボットとi OCTシステム間のオンライン登録,およびインジェクションターゲットへのナビゲーションに適した軌道計画から構成される。
ブタ前眼の精度と再現性について実験を行った。
論文 参考訳（メタデータ） (2023-01-17T21:41:21Z) - SyntheX: Scaling Up Learning-based X-ray Image Analysis Through In
Silico Experiments [12.019996672009375]
人間のモデルからリアルなシミュレートされた画像を作成することは、大規模なIn situデータ収集の代替となることを示す。
人体モデルからの学習データの合成は、容易にスケールできるので、我々がSyntheXと呼ぶX線画像解析のためのモデル転送パラダイムが、実際のデータ学習モデルよりも優れていることが分かりました。
論文 参考訳（メタデータ） (2022-06-13T13:08:41Z) - Where is my hand? Deep hand segmentation for visual self-recognition in
humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。
ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文 参考訳（メタデータ） (2021-02-09T10:34:32Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳（メタデータ） (2020-11-03T11:00:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。