Fugu-MT 論文翻訳(概要): Temporally Guided Articulated Hand Pose Tracking in Surgical Videos

論文の概要: Temporally Guided Articulated Hand Pose Tracking in Surgical Videos

arxiv url: http://arxiv.org/abs/2101.04281v1
Date: Tue, 12 Jan 2021 03:44:04 GMT
ステータス: 処理完了
システム内更新日: 2021-04-04 12:52:20.858909
Title: Temporally Guided Articulated Hand Pose Tracking in Surgical Videos
Title（参考訳）: 手術映像における一時ガイド付き手指球追跡
Authors: Nathan Louis, Luowei Zhou, Steven J. Yule, Roger D. Dias, Milisa Manojlovich, Francis D. Pagani, Donald S. Likosky, Jason J. Corso
Abstract要約: 関節した手のポーズ追跡は未熟な問題であり、広範囲のアプリケーションでの使用の可能性を秘めている。ポーズ予測の前にハンドポーズを組み込むことでトラッキング精度を向上させる,新しいハンドポーズ推定モデルRes152-CondPoseを提案する。私たちのデータセットには、28の公開手術ビデオと8.1kの注釈付きハンドポーズインスタンスから76のビデオクリップが含まれています。
参考スコア（独自算出の注目度）: 27.525545343598527
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Articulated hand pose tracking is an underexplored problem that carries the potential for use in an extensive number of applications, especially in the medical domain. With a robust and accurate tracking system on in-vivo surgical videos, the motion dynamics and movement patterns of the hands can be captured and analyzed for rich tasks including skills assessment, training surgical residents, and temporal action recognition. In this work, we propose a novel hand pose estimation model, Res152- CondPose, which improves tracking accuracy by incorporating a hand pose prior into its pose prediction. We show improvements over state-of-the-art methods which provide frame-wise independent predictions, by following a temporally guided approach that effectively leverages past predictions. Additionally, we collect the first dataset, Surgical Hands, that provides multi-instance articulated hand pose annotations for in-vivo videos. Our dataset contains 76 video clips from 28 publicly available surgical videos and over 8.1k annotated hand pose instances. We provide bounding boxes, articulated hand pose annotations, and tracking IDs to enable multi-instance area-based and articulated tracking. When evaluated on Surgical Hands, we show our method outperforms the state-of-the-art method using mean Average Precision (mAP), to measure pose estimation accuracy, and Multiple Object Tracking Accuracy (MOTA), to assess pose tracking performance.
Abstract（参考訳）: 手のポーズ追跡は未熟な問題であり、特に医療領域において、広範囲のアプリケーションで使用される可能性を持っている。生体内手術ビデオのロバストで正確な追跡システムにより、手の動きのダイナミクスや動きのパターンを捉えることができ、スキルアセスメント、手術従事者の訓練、時間的行動認識などのリッチなタスクに役立てることができる。本研究では,ポーズ予測に手ポーズを組み込むことでトラッキング精度を向上させる新しい手ポーズ推定モデルRes152-CondPoseを提案する。我々は,過去の予測を効果的に活用する時間的ガイド付きアプローチに従えば,フレーム単位の独立な予測を提供する最先端手法の改善を示す。さらに,マルチスタンスによる手ポーズアノテーションを提供する最初のデータセットであるオペレーショナルハンドを収集した。我々のデータセットには、28の公開手術ビデオから76の動画クリップと8.1k以上の注釈付き手ポーズインスタンスが含まれています。境界ボックス,手指ポーズアノテーション,トラッキングidを提供し,マルチインスタンス領域ベースおよび関節追跡を可能にした。手術手による評価では,平均平均精度(map),ポーズ推定精度,複数物体追跡精度(mota)を用いて,姿勢追跡性能を評価する手法が最先端手法よりも優れていることを示す。

関連論文リスト

HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
論文参考訳（メタデータ） (2023-12-27T22:35:33Z)
POV-Surgery: A Dataset for Egocentric Hand and Tool Pose Estimation During Surgical Activities [4.989930168854209]
POV-Surgeryは、異なる手術用手袋と3つの整形外科器具を持つ手のポーズ推定に焦点を当てた、大規模で合成されたエゴセントリックなデータセットである。我々のデータセットは53のシーケンスと88,329のフレームで構成され、高解像度のRGB-Dビデオストリームとアクティビティアノテーションを備えている。我々はPOV-Surgeryにおける現在のSOTA法を微調整し、手術用手袋と工具を用いた実生活症例に適用する際の一般化性を示す。
論文参考訳（メタデータ） (2023-07-19T18:00:32Z)
Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments [66.74633676595889]
静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
論文参考訳（メタデータ） (2023-05-05T13:42:19Z)
ShaRPy: Shape Reconstruction and Hand Pose Estimation from RGB-D with Uncertainty [6.559796851992517]
本稿では,最初のRGB-D形状再構成システムであるShaRPyを提案する。 ShaRPyはパーソナライズされた手の形を近似し、デジタルツインのより現実的で直感的な理解を促進する。キーポイント検出ベンチマークを用いてShaRPyを評価し,筋骨格疾患の能動モニタリングのための手機能評価の質的結果を示した。
論文参考訳（メタデータ） (2023-03-17T15:12:25Z)
Using Hand Pose Estimation To Automate Open Surgery Training Feedback [0.0]
本研究は,外科医の自動訓練における最先端のコンピュータビジョンアルゴリズムの利用を促進することを目的としている。 2次元手のポーズを推定することにより,手の動きをモデル化し,手術器具との相互作用をモデル化する。
論文参考訳（メタデータ） (2022-11-13T21:47:31Z)
Learning Dynamics via Graph Neural Networks for Human Pose Estimation and Tracking [98.91894395941766]
ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。 PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
論文参考訳（メタデータ） (2021-06-07T16:36:50Z)
One-shot action recognition towards novel assistive therapies [63.23654147345168]
この作業は、アクション模倣ゲームを含む医療療法の自動分析によって動機づけられます。提案手法は、異種運動データ条件を標準化する前処理ステップを組み込んだものである。自閉症者に対するセラピー支援のための自動ビデオ分析の実際の利用事例について検討した。
論文参考訳（メタデータ） (2021-02-17T19:41:37Z)
Using Computer Vision to Automate Hand Detection and Tracking of Surgeon Movements in Videos of Open Surgery [8.095095522269352]
コンピュータビジョンの進歩を活かし,外科手術の映像解析に自動的アプローチを導入する。オブジェクト検出のための最先端の畳み込みニューラルネットワークアーキテクチャを使用して、開手術ビデオの操作手を検出する。本モデルの操作手の空間的検出は、既存の手検出データセットを用いて達成した検出を大幅に上回る。
論文参考訳（メタデータ） (2020-12-13T03:10:09Z)
Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文参考訳（メタデータ） (2020-11-03T11:00:10Z)
AutoTrajectory: Label-free Trajectory Extraction and Prediction from Videos using Dynamic Points [92.91569287889203]
軌道抽出と予測のための新しいラベルなしアルゴリズムAutoTrajectoryを提案する。動画中の移動物体をよりよく捉えるために,ダイナミックポイントを導入する。ビデオ内の歩行者などの移動物体を表すインスタンスポイントに動的ポイントを集約する。
論文参考訳（メタデータ） (2020-07-11T08:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。