論文の概要: Robust Surgical Robotic Instrument Tracking via Sequential Multi-Cue Fusion and Sim-to-Real Self-Training

• arxiv url: http://arxiv.org/abs/2610.05491v1
• Date: Sun, 04 Oct 2026 19:59:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 13:25:58.062595
• Title: Robust Surgical Robotic Instrument Tracking via Sequential Multi-Cue Fusion and Sim-to-Real Self-Training
• Title（参考訳）: 連続多列核融合とSim-to-Real Self-Trainingによるロバスト手術用ロボット機器の追跡
• Abstract要約: キーポイントベースのアプローチは効率的だが、その性能は信頼性の高い機能検出に依存する。 本稿では,合成画像に事前学習したモデルを,ラベルのない実世界のビデオに適応させる,トラッカー誘導型自己学習フレームワークを提案する。 実世界のビデオの実験では、評価されたすべてのキーポイントメトリクスに対する自己学習による一貫した改善が示されている。
• 参考スコア（独自算出の注目度）: 21.436806983625885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient and robust tracking of surgical robotic instruments is important for robot-assisted minimally invasive surgery, yet remains challenging due to the complexity of surgical scenes and the unconventional geometry of surgical instruments. Keypoint-based approaches are efficient, but their performance depends on reliable feature detection. Improving these detectors with real-world supervision is difficult because accurate real-world annotations are costly to obtain at scale. To address this limitation, we introduce a tracker-guided self-training framework that adapts a model pretrained on synthetic images to unlabeled real-world videos. Given measured robot joint states, an uncertainty-aware EKF recursively corrects the instrument pose and the observable joint angles by comparing projected model features with detected keypoints, shaft boundaries, and mask-derived cues. An RTS smoother subsequently refines the resulting trajectory, which is projected into pseudo-labels for fine-tuning the feature detector without laborious pose annotations. Experiments on real-world videos demonstrate consistent improvements from self-training across all evaluated keypoint metrics, and the resulting model outperforms prior approaches in both accuracy and runtime. The code and data will be released upon publication.
• Abstract（参考訳）: 手術用ロボット機器の効率的かつロバストな追跡は、ロボットによる最小侵襲手術において重要であるが、手術シーンの複雑さや外科用機器の非伝統的な形状が原因で依然として困難である。 キーポイントベースのアプローチは効率的だが、その性能は信頼性の高い機能検出に依存する。 正確な実世界のアノテーションは大規模に取得するのにコストがかかるため、これらの検出器を実世界の監視で改善することは困難である。 この制限に対処するために、合成画像に事前訓練されたモデルと、ラベルのない実世界のビデオに適応するトラッカー誘導型自己学習フレームワークを導入する。 計測されたロボット関節状態が与えられた場合、不確実性を認識したEKFは、予測されたモデル特徴と検出されたキーポイント、シャフト境界、マスク由来のキューとを比較して、楽器のポーズと観測可能な関節角度を再帰的に補正する。 RTSスムーズ化器は、結果として生じる軌跡を洗練し、それを擬似ラベルに投影して、面倒なポーズアノテーションを使わずに特徴検出器を微調整する。 実世界のビデオの実験では、評価されたすべてのキーポイントメトリクスに対する自己学習による一貫した改善が示され、その結果のモデルは、正確性と実行時の両方において、以前のアプローチよりも優れています。 コードとデータは公開時に公開される。

関連論文リスト

• RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction [51.76737991200891]
  H2R(Human-to-robot)オブジェクトハンドオーバは、人間とロボットのコラボレーションの基本的な能力である。 本稿では,RGB-DビデオデータセットであるHand2Botを紹介する。 ハンドオブジェクトの一貫性を確保しつつ,現実的なハンドオーバシーケンスを合成する生成パイプラインであるPassGenを提案する。
  論文  参考訳（メタデータ） (2026-08-13T09:55:59Z)
• Real-time Rendering-based Surgical Instrument Tracking via Evolutionary Optimization [21.436806983625885]
  手術器具のポーズと関節構成を共同で推定する多目的追跡パイプラインを提案する。 提案手法は,視覚フィードバック制御とオンライン手術ビデオキャリブレーションの両方に適合する。
  論文  参考訳（メタデータ） (2026-03-12T00:30:30Z)
• Robometer: Scaling General-Purpose Robotic Reward Models via Trajectory Comparisons [69.87766750714945]
  汎用ロボット報酬モデルは通常、専門家によるデモンストレーションから絶対的なタスク進捗を予測するために訓練される。 本稿では、軌道内進行監視と軌道間優先監視を組み合わせたスケーラブルな報酬モデリングフレームワークRobometerを紹介する。 ロビオメーターは、専門家データに報酬等級を固定するフレームレベルのプログレス・ロスと、グローバルな順序制約を課す軌跡比較優先損失という2つの目的で訓練されている。
  論文  参考訳（メタデータ） (2026-03-02T17:38:58Z)
• On-the-fly hand-eye calibration for the da Vinci surgical robot [35.18343759591773]
  本稿では,手目変換行列をオンザフライで計算することで,正確なツールローカライズ結果を生成するキャリブレーションフレームワークを提案する。 その結果, キャリブレーションフレームワークでは, ツールのローカライゼーション誤差が著しく減少した。
  論文  参考訳（メタデータ） (2026-01-21T10:58:28Z)
• ArtiSG: Functional 3D Scene Graph Construction via Human-demonstrated Articulated Objects Manipulation [51.54082859171464]
  ArtiSGは、人間のデモを構造化されたロボットメモリにエンコードすることで、機能的な3Dシーングラフを構築するフレームワークである。 本研究では,ArtiSGが機能的要素リコールおよび調音推定精度において,ベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-12-31T13:10:40Z)
• Efficient Surgical Robotic Instrument Pose Reconstruction in Real World Conditions Using Unified Feature Detection [21.460727996614704]
  MISロボットは、長いキネマティックチェーンを持ち、カメラ内の自由度を部分的に可視化する。 本稿では,共有符号化による幾何学的プリミティブの検出を統一する新しいフレームワークを提案する。 このアーキテクチャは、1つの推論でキーポイントとエッジの両方を検出し、射影ラベル付き大規模合成データに基づいて訓練される。
  論文  参考訳（メタデータ） (2025-10-03T22:03:28Z)
• EasyHeC: Accurate and Automatic Hand-eye Calibration via Differentiable Rendering and Space Exploration [49.90228618894857]
  我々は、マーカーレスでホワイトボックスであり、より優れた精度とロバスト性を提供するEasyHeCと呼ばれる手眼校正の新しいアプローチを導入する。 我々は,2つの重要な技術 – レンダリングベースのカメラポーズの最適化と整合性に基づく共同空間探索 – を利用することを提案する。 本評価は,合成および実世界のデータセットにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-02T03:49:54Z)
• CaRTS: Causality-driven Robot Tool Segmentation from Vision and Kinematics Data [11.92904350972493]
  ロボット支援手術中の視覚に基づくロボットツールのセグメンテーションは、拡張現実フィードバックなどの下流アプリケーションを可能にする。 ディープラーニングの導入により、楽器のセグメンテーションを画像から直接、あるいは画像から直接解決する多くの方法が提示された。 本稿では,ロボットツールセグメンテーションタスクの相補的因果モデルに基づいて設計した因果性駆動型ロボットツールセグメンテーションアルゴリズムCaRTSを提案する。
  論文  参考訳（メタデータ） (2022-03-15T22:26:19Z)
• Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment [60.31418655784291]
  本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。 ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。 その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
  論文  参考訳（メタデータ） (2021-03-06T09:10:03Z)
• Online Body Schema Adaptation through Cost-Sensitive Active Learning [63.84207660737483]
  この作業は、icubロボットシミュレータの7dofアームを使用して、シミュレーション環境で実行された。 コストに敏感な能動学習手法は最適な関節構成を選択するために用いられる。 その結果,コスト依存型能動学習は標準的な能動学習手法と同等の精度を示し,実行運動の約半分を減らした。
  論文  参考訳（メタデータ） (2021-01-26T16:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。