論文の概要: SurgiPose: Estimating Surgical Tool Kinematics from Monocular Video for Surgical Robot Learning

• arxiv url: http://arxiv.org/abs/2512.18068v1
• Date: Fri, 19 Dec 2025 21:15:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:40.439812
• Title: SurgiPose: Estimating Surgical Tool Kinematics from Monocular Video for Surgical Robot Learning
• Title（参考訳）: SurgiPose:手術用ロボット学習のための単眼ビデオから手術用ツールキネマティクスを推定する
• Authors: Juo-Tung Chen, XinHao Chen, Ji Woong Kim, Paul Maria Scheikl, Richard Jaepyeong Cha, Axel Krieger,
• Abstract要約: 大規模な外科的デモンストレーションの有望な情報源は、モノラルな外科的ビデオがオンラインで公開されていることである。 本稿では,単眼手術映像から運動情報を推定するための,微分レンダリングに基づくアプローチであるSurgiPoseを提案する。 本研究の結果から, 推定キネマティクスに基づいてトレーニングした政策は, 真理データに基づいてトレーニングした政策に匹敵する成功率を示した。
• 参考スコア（独自算出の注目度）: 5.304104136888954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Imitation learning (IL) has shown immense promise in enabling autonomous dexterous manipulation, including learning surgical tasks. To fully unlock the potential of IL for surgery, access to clinical datasets is needed, which unfortunately lack the kinematic data required for current IL approaches. A promising source of large-scale surgical demonstrations is monocular surgical videos available online, making monocular pose estimation a crucial step toward enabling large-scale robot learning. Toward this end, we propose SurgiPose, a differentiable rendering based approach to estimate kinematic information from monocular surgical videos, eliminating the need for direct access to ground truth kinematics. Our method infers tool trajectories and joint angles by optimizing tool pose parameters to minimize the discrepancy between rendered and real images. To evaluate the effectiveness of our approach, we conduct experiments on two robotic surgical tasks: tissue lifting and needle pickup, using the da Vinci Research Kit Si (dVRK Si). We train imitation learning policies with both ground truth measured kinematics and estimated kinematics from video and compare their performance. Our results show that policies trained on estimated kinematics achieve comparable success rates to those trained on ground truth data, demonstrating the feasibility of using monocular video based kinematic estimation for surgical robot learning. By enabling kinematic estimation from monocular surgical videos, our work lays the foundation for large scale learning of autonomous surgical policies from online surgical data.
• Abstract（参考訳）: イミテーション・ラーニング(IL)は、外科的タスクの学習を含む、自律的な器用な操作を可能にするという大きな可能性を示している。 手術におけるILの可能性を完全に解放するには、臨床データセットへのアクセスが必要であるが、残念ながら現在のILアプローチに必要なキネマティックなデータは欠如している。 大規模な外科的デモンストレーションの有望な情報源は、モノラルな手術ビデオがオンラインで公開されているため、モノラルなポーズ推定が大規模なロボット学習を実現するための重要なステップとなる。 この目的に向けて,単眼手術ビデオからキネマティック情報を推定する,微分レンダリングに基づくアプローチであるSurgiPoseを提案し,真理キネマティックスへの直接アクセスの必要性を排除した。 本手法は,レンダリング画像と実画像との差を最小限に抑えるために,ツールポーズパラメータを最適化することにより,ツール軌跡と関節角度を推定する。 提案手法の有効性を評価するため,da Vinci Research Kit Si (dVRK Si) を用いて, 組織リフトとニードルピックアップの2つのロボット外科的課題について実験を行った。 本研究では,実測値と実測値の両方をビデオから学習し,実測値と実測値とを比較した。 以上の結果から, 単眼映像による体力評価を手術ロボット学習に応用できる可能性が示唆された。 単眼手術ビデオからキネマティックな評価を可能にすることで,オンライン手術データから自律的な手術方針を大規模に学習する基盤を構築した。

関連論文リスト

• SimEndoGS: Efficient Data-driven Scene Simulation using Robotic Surgery Videos via Physics-embedded 3D Gaussians [19.590481146949685]
  立体内視鏡画像から3D Gaussianを学習可能な手術シーンの表現として紹介する。 本研究では3次元ガウスに物理特性を統合したマテリアルポイント法を適用し,現実的なシーン変形を実現する。 以上の結果から,内視鏡的画像から外科的シーンを効率的に再構成し,シミュレートし,外科的シーンを再構築するのにほんの数分しか要しないことが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-02T02:34:19Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
  手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。 これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。 本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)
• Intuitive Surgical SurgToolLoc Challenge Results: 2022-2023 [55.40111320730479]
  我々は、先進的なRA応用の文脈において、難しい機械学習問題を解決するために、外科データ科学のコミュニティに挑戦してきた。 ここでは,手術ツールの局所化(SurgToolLoc)を中心に,これらの課題の成果を報告する。 これらの課題に対応する公開データセットは、別の論文arXiv:2501.09209で詳述されている。
  論文  参考訳（メタデータ） (2023-05-11T21:44:39Z)
• Using Hand Pose Estimation To Automate Open Surgery Training Feedback [0.0]
  本研究は,外科医の自動訓練における最先端のコンピュータビジョンアルゴリズムの利用を促進することを目的としている。 2次元手のポーズを推定することにより,手の動きをモデル化し,手術器具との相互作用をモデル化する。
  論文  参考訳（メタデータ） (2022-11-13T21:47:31Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• Recurrent and Spiking Modeling of Sparse Surgical Kinematics [0.8458020117487898]
  ますます多くの研究が、手術ロボットが捉えたビデオやキネマティックなデータを機械学習で分析している。 本研究では,同様のスキルレベルの外科医を予測するために,キネマティックデータのみを用いることの可能性を検討する。 本報告では, 運動特性のみに基づいて, シミュレーションエクササイズにおいて, ほぼ完全スコアの手術者を特定することが可能である。
  論文  参考訳（メタデータ） (2020-05-12T15:41:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。