論文の概要: A Kinematic Bottleneck Approach For Pose Regression of Flexible Surgical Instruments directly from Images

• arxiv url: http://arxiv.org/abs/2103.00586v1
• Date: Sun, 28 Feb 2021 18:41:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 13:24:06.564756
• Title: A Kinematic Bottleneck Approach For Pose Regression of Flexible Surgical Instruments directly from Images
• Title（参考訳）: 画像から直接のフレキシブルな手術器具の姿勢回帰に対する運動的ボツネックアプローチ
• Authors: Luca Sestini, Benoit Rosa, Elena De Momi, Giancarlo Ferrigno and Nicolas Padoy
• Abstract要約: ロボットから提供される運動情報のみをトレーニング時に活用し、自己監督画像に基づく手法を提案する。 時間を要する手動アノテーションの導入を避けるため、問題は自動エンコーダとして定式化される。 本手法の検証は, 柔軟ロボット内視鏡を用いて, 半合成, 幻, および生体内データセットを用いて行った。
• 参考スコア（独自算出の注目度）: 17.32860829016479
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: 3-D pose estimation of instruments is a crucial step towards automatic scene understanding in robotic minimally invasive surgery. Although robotic systems can potentially directly provide joint values, this information is not commonly exploited inside the operating room, due to its possible unreliability, limited access and the time-consuming calibration required, especially for continuum robots. For this reason, standard approaches for 3-D pose estimation involve the use of external tracking systems. Recently, image-based methods have emerged as promising, non-invasive alternatives. While many image-based approaches in the literature have shown accurate results, they generally require either a complex iterative optimization for each processed image, making them unsuitable for real-time applications, or a large number of manually-annotated images for efficient learning. In this paper we propose a self-supervised image-based method, exploiting, at training time only, the imprecise kinematic information provided by the robot. In order to avoid introducing time-consuming manual annotations, the problem is formulated as an auto-encoder, smartly bottlenecked by the presence of a physical model of the robotic instruments and surgical camera, forcing a separation between image background and kinematic content. Validation of the method was performed on semi-synthetic, phantom and in-vivo datasets, obtained using a flexible robotized endoscope, showing promising results for real-time image-based 3-D pose estimation of surgical instruments.
• Abstract（参考訳）: ロボットの最小侵襲手術における3次元姿勢推定はシーンの自動理解に欠かせない一歩である。 ロボットシステムは、ジョイントバリューを直接提供することができるが、この情報は、信頼性の低い、アクセスの制限、特に連続ロボットに必要な時間を要するキャリブレーションのため、手術室内では一般的に利用されない。 このため、3次元ポーズ推定の標準的なアプローチは、外部トラッキングシステムの使用を伴う。 近年,画像ベースの手法が有望で非侵襲的な代替手段として登場している。 文献における多くの画像ベースのアプローチは正確な結果を示しているが、一般的には、処理された各画像に対して複雑な反復的最適化を必要とするため、リアルタイムアプリケーションには適さない。 本稿では,ロボットが提供する不正確な運動情報を学習時間のみに活用し,自己教師付き画像ベース手法を提案する。 時間を要する手動アノテーションの導入を避けるために、ロボット機器と手術用カメラの物理モデルの存在によりスマートにボトルネックとなり、画像背景とキネマティックコンテンツの分離を強いるオートエンコーダとして問題を定式化する。 柔軟なロボット内視鏡を用いて, 半合成, ファントムおよびin-vivoデータセットを用いて, 手術器具のリアルタイム画像に基づく3次元ポーズ推定に有望な結果を得た。

関連論文リスト

• Realistic Data Generation for 6D Pose Estimation of Surgical Instruments [4.226502078427161]
  手術器具の6次元ポーズ推定は,手術操作の自動実行を可能にするために重要である。 家庭や工業環境では、3Dコンピュータグラフィックスソフトウェアで生成された合成データが、アノテーションコストを最小限に抑える代替手段として示されている。 本稿では,大規模・多様なデータセットの自動生成を可能にする外科ロボティクスのシミュレーション環境の改善を提案する。
  論文  参考訳（メタデータ） (2024-06-11T14:59:29Z)
• Visual-Kinematics Graph Learning for Procedure-agnostic Instrument Tip Segmentation in Robotic Surgeries [29.201385352740555]
  そこで我々は,様々な外科手術を施した楽器の先端を正確に分類する新しいビジュアル・キネマティクスグラフ学習フレームワークを提案する。 具体的には、画像とキネマティクスの両方から楽器部品のリレーショナル特徴を符号化するグラフ学習フレームワークを提案する。 クロスモーダル・コントラッシブ・ロスは、キネマティクスからチップセグメンテーションのイメージへの頑健な幾何学的先行を組み込むように設計されている。
  論文  参考訳（メタデータ） (2023-09-02T14:52:58Z)
• Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments [66.74633676595889]
  静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。 第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。 第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
  論文  参考訳（メタデータ） (2023-05-05T13:42:19Z)
• Markerless Camera-to-Robot Pose Estimation via Self-supervised Sim-to-Real Transfer [26.21320177775571]
  本稿では,オンラインカメラ・ロボット・キャリブレーションと自己監督型トレーニング手法を備えたエンドツーエンドのポーズ推定フレームワークを提案する。 我々のフレームワークはロボットのポーズを解くための深層学習と幾何学的ビジョンを組み合わせており、パイプラインは完全に微分可能である。
  論文  参考訳（メタデータ） (2023-02-28T05:55:42Z)
• Robotic Navigation Autonomy for Subretinal Injection via Intelligent Real-Time Virtual iOCT Volume Slicing [88.99939660183881]
  網膜下注射のための自律型ロボットナビゲーションの枠組みを提案する。 提案手法は,機器のポーズ推定方法,ロボットとi OCTシステム間のオンライン登録,およびインジェクションターゲットへのナビゲーションに適した軌道計画から構成される。 ブタ前眼の精度と再現性について実験を行った。
  論文  参考訳（メタデータ） (2023-01-17T21:41:21Z)
• Context-Aware Sequence Alignment using 4D Skeletal Augmentation [67.05537307224525]
  コンピュータビジョン、ロボティクス、混合現実の多くの応用において、ビデオにおける人間の行動の微粒化の時間的アライメントが重要である。 本稿では,アクションのシーケンスを整列するコンテキスト認識型自己教師型学習アーキテクチャを提案する。 特に、CASAは、人間の行動の空間的・時間的文脈を組み込むために、自己注意と相互注意のメカニズムを採用している。
  論文  参考訳（メタデータ） (2022-04-26T10:59:29Z)
• CaRTS: Causality-driven Robot Tool Segmentation from Vision and Kinematics Data [11.92904350972493]
  ロボット支援手術中の視覚に基づくロボットツールのセグメンテーションは、拡張現実フィードバックなどの下流アプリケーションを可能にする。 ディープラーニングの導入により、楽器のセグメンテーションを画像から直接、あるいは画像から直接解決する多くの方法が提示された。 本稿では,ロボットツールセグメンテーションタスクの相補的因果モデルに基づいて設計した因果性駆動型ロボットツールセグメンテーションアルゴリズムCaRTSを提案する。
  論文  参考訳（メタデータ） (2022-03-15T22:26:19Z)
• Synthetic and Real Inputs for Tool Segmentation in Robotic Surgery [10.562627972607892]
  腹腔鏡画像と組み合わせたロボットキネマティックデータを用いてラベル付け問題を緩和できる可能性が示唆された。 腹腔鏡画像とシミュレーション画像の並列処理のための新しい深層学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-07-17T16:33:33Z)
• Towards Unsupervised Learning for Instrument Segmentation in Robotic Surgery with Cycle-Consistent Adversarial Networks [54.00217496410142]
  本稿では、入力された内視鏡画像と対応するアノテーションとのマッピングを学習することを目的として、未ペア画像から画像への変換を提案する。 当社のアプローチでは,高価なアノテーションを取得することなく,イメージセグメンテーションモデルをトレーニングすることが可能です。 提案手法をEndovis 2017チャレンジデータセットで検証し,教師付きセグメンテーション手法と競合することを示す。
  論文  参考訳（メタデータ） (2020-07-09T01:39:39Z)
• Searching for Efficient Architecture for Instrument Segmentation in Robotic Surgery [58.63306322525082]
  ほとんどのアプリケーションは、高解像度の外科画像の正確なリアルタイムセグメンテーションに依存している。 我々は,高解像度画像のリアルタイム推論を行うために調整された,軽量で高効率なディープ残差アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2020-07-08T21:38:29Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。