論文の概要: Probabilistic Task Parameterization of Tool-Tissue Interaction via Sparse Landmarks Tracking in Robotic Surgery
- arxiv url: http://arxiv.org/abs/2504.11495v1
- Date: Mon, 14 Apr 2025 21:28:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-17 14:40:12.999244
- Title: Probabilistic Task Parameterization of Tool-Tissue Interaction via Sparse Landmarks Tracking in Robotic Surgery
- Title(参考訳): ロボット手術におけるスパースランドマーク追跡によるツール間相互作用の確率的タスクパラメータ化
- Authors: Yiting Wang, Yunxin Fan, Fei Liu,
- Abstract要約: ロボット手術におけるツールとタスクの相互作用のモデルは、変形可能な組織の正確な追跡と外科領域の知識の統合を必要とする。
本稿では,キーポイントトラッキングと確率的モデリングを組み合わせたフレームワークを提案する。
- 参考スコア(独自算出の注目度): 5.075735148466963
- License:
- Abstract: Accurate modeling of tool-tissue interactions in robotic surgery requires precise tracking of deformable tissues and integration of surgical domain knowledge. Traditional methods rely on labor-intensive annotations or rigid assumptions, limiting flexibility. We propose a framework combining sparse keypoint tracking and probabilistic modeling that propagates expert-annotated landmarks across endoscopic frames, even with large tissue deformations. Clustered tissue keypoints enable dynamic local transformation construction via PCA, and tool poses, tracked similarly, are expressed relative to these frames. Embedding these into a Task-Parameterized Gaussian Mixture Model (TP-GMM) integrates data-driven observations with labeled clinical expertise, effectively predicting relative tool-tissue poses and enhancing visual understanding of robotic surgical motions directly from video data.
- Abstract(参考訳): ロボット手術におけるツールとタスクの正確なモデリングには、変形可能な組織の正確な追跡と外科領域の知識の統合が必要である。
従来の手法は労働集約的なアノテーションや厳格な仮定に依存しており、柔軟性を制限している。
本研究では, 組織に大きな変形を伴っても, 専門家が注釈を付したランドマークを内視鏡フレーム全体に伝播させる, スパースキーポイント追跡と確率的モデリングを組み合わせたフレームワークを提案する。
クラスタ化された組織キーポイントはPCAを介して動的局所変換構築を可能にし、同様に追跡されたツールポーズはこれらのフレームに対して表現される。
これらをタスクパラメータ化ガウス混合モデル(TP-GMM)に埋め込み、ラベル付き臨床専門知識とデータ駆動の観察を統合し、相対的なツール・タスクのポーズを効果的に予測し、ビデオデータから直接ロボットの手術動作の視覚的理解を高める。
関連論文リスト
- Monocular pose estimation of articulated surgical instruments in open surgery [0.873811641236639]
本研究は,開腹手術における手術器具の単眼6Dポーズ推定への新たなアプローチとして,物体調音,対称性,注釈付き実世界のデータの欠如といった課題に対処する。
提案手法は,(1)手術器具の3次元モデリングと調音リギングを用いた合成データ生成,(2)ポーズ推定とハイブリッドな幾何学的融合戦略を組み合わせたポーズ推定フレームワーク,(3)自動生成擬似ラベルを用いた実ビデオデータへのドメイン適応を用いた,合成データと実際の注釈データの両方を利用したトレーニング戦略,の3つの構成要素から構成される。
論文 参考訳(メタデータ) (2024-07-16T19:47:35Z) - Benchmark on Drug Target Interaction Modeling from a Structure Perspective [48.60648369785105]
薬物と標的の相互作用の予測は、薬物の発見と設計に不可欠である。
グラフニューラルネットワーク(GNN)やトランスフォーマーに基づく最近の手法は、さまざまなデータセットで例外的なパフォーマンスを示している。
我々は,GNNベースと暗黙的(トランスフォーマーベース)構造学習アルゴリズムを多用することにより,構造の観点からの薬物-標的相互作用モデリングの総合的な調査とベンチマークを行う。
論文 参考訳(メタデータ) (2024-07-04T16:56:59Z) - Instrument-tissue Interaction Detection Framework for Surgical Video Understanding [31.822025965225016]
本稿では,手術ビデオ理解のための機器間相互作用検出ネットワーク(ITIDNet)を提案する。
具体的には,Snippet Consecutive Feature (SCF) レイヤを提案し,ビデオスニペット内のグローバルコンテキスト情報を用いて,現在のフレームにおける提案の関連性をモデル化することによって機能を強化する。
楽器と組織間の関係を推論するために、同じフレーム内の楽器と組織間の関係と、同じインスタンスの時間情報をモデル化するためのフレーム間関係を利用するための時間グラフ(TG)層が提案されている。
論文 参考訳(メタデータ) (2024-03-30T11:21:11Z) - Self-trained Panoptic Segmentation [0.0]
パノプティックセグメンテーションは、セグメンテーションとインスタンスセグメンテーションを組み合わせた重要なコンピュータビジョンタスクである。
近年の自己教師型学習手法の進歩は、擬似ラベルを生成するために、合成データと非ラベルデータを活用する大きな可能性を示している。
本研究の目的は,合成領域適応問題における自己学習を用いた埋め込み型自己教師型単眼セグメンテーションを実現するためのフレームワークを開発することである。
論文 参考訳(メタデータ) (2023-11-17T17:06:59Z) - Domain Adaptive Sim-to-Real Segmentation of Oropharyngeal Organs Towards
Robot-assisted Intubation [15.795665057836636]
この作業では、Open Framework Architectureフレームワークによって生成された仮想データセットを導入し、実際の内視鏡画像の可用性の制限を克服する。
また,画像ブレンディング戦略を用いた咽頭臓器画像分割のための領域適応型Sim-to-Real法を提案する。
実験結果は,ドメイン適応モデルを用いた提案手法の優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-19T14:08:15Z) - Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical
Procedures [70.69948035469467]
カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。
次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
論文 参考訳(メタデータ) (2021-06-09T14:35:44Z) - Reconstructing Interactive 3D Scenes by Panoptic Mapping and CAD Model
Alignments [81.38641691636847]
エンボディエージェントの観点から,シーン再構築の問題を再考する。
rgb-dデータストリームを用いてインタラクティブシーンを再構築する。
この再構成されたシーンは、密集したパノプティカルマップのオブジェクトメッシュを、部分ベースのCADモデルに置き換える。
論文 参考訳(メタデータ) (2021-03-30T05:56:58Z) - Domain Adaptive Robotic Gesture Recognition with Unsupervised
Kinematic-Visual Data Alignment [60.31418655784291]
本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。
ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。
その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
論文 参考訳(メタデータ) (2021-03-06T09:10:03Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳(メタデータ) (2020-11-03T11:00:10Z) - Synthetic and Real Inputs for Tool Segmentation in Robotic Surgery [10.562627972607892]
腹腔鏡画像と組み合わせたロボットキネマティックデータを用いてラベル付け問題を緩和できる可能性が示唆された。
腹腔鏡画像とシミュレーション画像の並列処理のための新しい深層学習モデルを提案する。
論文 参考訳(メタデータ) (2020-07-17T16:33:33Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳(メタデータ) (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。