論文の概要: Temporally Guided Articulated Hand Pose Tracking in Surgical Videos

• arxiv url: http://arxiv.org/abs/2101.04281v3
• Date: Thu, 06 Feb 2025 20:04:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:53:42.634437
• Title: Temporally Guided Articulated Hand Pose Tracking in Surgical Videos
• Title（参考訳）: 手術映像における一時ガイド付き手指球追跡
• Authors: Nathan Louis, Luowei Zhou, Steven J. Yule, Roger D. Dias, Milisa Manojlovich, Francis D. Pagani, Donald S. Likosky, Jason J. Corso,
• Abstract要約: アーティキュレートされた手ポーズ追跡は、多くのアプリケーションで使用可能な可能性を秘めている未発見の問題である。 提案する手ポーズ推定モデルであるCondPoseは,その予測に先立ってポーズを組み込むことで,検出と追跡の精度を向上させる。
• 参考スコア（独自算出の注目度）: 22.752654546694334
• License:
• Abstract: Articulated hand pose tracking is an under-explored problem that carries the potential for use in an extensive number of applications, especially in the medical domain. With a robust and accurate tracking system on surgical videos, the motion dynamics and movement patterns of the hands can be captured and analyzed for many rich tasks. In this work, we propose a novel hand pose estimation model, CondPose, which improves detection and tracking accuracy by incorporating a pose prior into its prediction. We show improvements over state-of-the-art methods which provide frame-wise independent predictions, by following a temporally guided approach that effectively leverages past predictions. We collect Surgical Hands, the first dataset that provides multi-instance articulated hand pose annotations for videos. Our dataset provides over 8.1k annotated hand poses from publicly available surgical videos and bounding boxes, pose annotations, and tracking IDs to enable multi-instance tracking. When evaluated on Surgical Hands, we show our method outperforms the state-of-the-art approach using mean Average Precision (mAP), to measure pose estimation accuracy, and Multiple Object Tracking Accuracy (MOTA), to assess pose tracking performance. In comparison to a frame-wise independent strategy, we show greater performance in detecting and tracking hand poses and more substantial impact on localization accuracy. This has positive implications in generating more accurate representations of hands in the scene to be used for targeted downstream tasks.
• Abstract（参考訳）: アーティキュレートされた手ポーズ追跡(Articulated hand pose tracking)は、特に医療領域において、広範囲のアプリケーションでの使用の可能性をもたらす未発見の問題である。 手術ビデオ上での堅牢で正確な追跡システムにより、多くのリッチなタスクに対して手の運動力学と運動パターンを捕捉し分析することができる。 本研究では,提案する手ポーズ推定モデルであるCondPoseを提案する。 我々は,過去の予測を効果的に活用する時間的ガイド付きアプローチに従えば,フレーム単位の独立な予測を提供する最先端手法の改善を示す。 我々は、ビデオ用のマルチインスタンス手ポーズアノテーションを提供する最初のデータセットである、手術用ハンドを収集する。 我々のデータセットは、公開されている手術ビデオとバウンディングボックスから8.1k以上の注釈付き手ポーズ、アノテーションのポーズ、マルチインスタンス追跡を可能にするIDの追跡を提供する。 手術手を用いて評価すると,平均的平均精度(mAP)を用いてポーズ推定精度を計測し,多目的追跡精度(MOTA)を用いてポーズ追跡性能を評価する。 フレーム単位の独立戦略と比較して,手ポーズの検出・追跡性能が向上し,局所化精度が向上した。 これは、下流のタスクに使用されるシーンにおいて、より正確な手の表現を生成することに肯定的な意味を持つ。

関連論文リスト

• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• Denoising Diffusion for 3D Hand Pose Estimation from Images [38.20064386142944]
  本稿では,モノクロ画像やシーケンスからの3次元手ポーズ推定の問題に対処する。 本稿では,3次元ハンドレグレッションのための新しいエンド・ツー・エンド・エンド・フレームワークを提案する。 提案モデルは,2次元の片手画像を3Dに持ち上げる際に,最先端の性能を提供する。
  論文  参考訳（メタデータ） (2023-08-18T12:57:22Z)
• Combining Vision and EMG-Based Hand Tracking for Extended Reality Musical Instruments [0.0]
  自己閉塞は、視覚に基づく手の動き追跡システムにとって重要な課題である。 本研究では,指関節角度推定のための視覚ベースハンドトラッキングと表面筋電図(SEMG)データを組み合わせたマルチモーダルハンドトラッキングシステムを提案する。
  論文  参考訳（メタデータ） (2023-07-13T15:15:02Z)
• HMD-EgoPose: Head-Mounted Display-Based Egocentric Marker-Less Tool and Hand Pose Estimation for Augmented Surgical Guidance [0.0]
  HMD-EgoPoseは、手動とオブジェクトのポーズ推定のための単発学習に基づくアプローチである。 マーカーレスハンドと手術器具のポーズトラッキングのためのベンチマークデータセット上で,最先端の性能を示す。
  論文  参考訳（メタデータ） (2022-02-24T04:07:34Z)
• Investigating Pose Representations and Motion Contexts Modeling for 3D Motion Prediction [63.62263239934777]
  歴史的ポーズシーケンスから人間の動きを予測することは、機械が人間と知的な相互作用を成功させるために不可欠である。 本研究では,様々なポーズ表現に関する詳細な研究を行い,その動作予測課題に対する効果に着目した。 AHMR(Attentive Hierarchical Motion Recurrent Network)と呼ばれる新しいRNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-30T10:45:22Z)
• Adversarial Motion Modelling helps Semi-supervised Hand Pose Estimation [116.07661813869196]
  そこで本稿では,非ラベルビデオに対人トレーニングとモーションモデリングのアイデアを組み合わせることを提案する。 本研究は,非ラベル映像系列の半教師あり学習により,逆方向が手ポーズ推定器の特性の向上につながることを示す。 このアプローチの主な利点は、ペアのトレーニングデータよりもはるかに容易に、未ペアのビデオとジョイントシーケンスデータを利用することができることです。
  論文  参考訳（メタデータ） (2021-06-10T17:50:19Z)
• Learning Dynamics via Graph Neural Networks for Human Pose Estimation and Tracking [98.91894395941766]
  ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。 具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。 PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-06-07T16:36:50Z)
• Safety-Oriented Pedestrian Motion and Scene Occupancy Forecasting [91.69900691029908]
  我々は、個々の動きとシーン占有マップの両方を予測することを提唱する。 歩行者の相対的な空間情報を保存するScene-Actor Graph Neural Network (SA-GNN)を提案する。 2つの大規模な実世界のデータセットで、我々のシーン占有率予測が最先端のモーション予測手法よりも正確でより校正されていることを示した。
  論文  参考訳（メタデータ） (2021-01-07T06:08:21Z)
• AutoTrajectory: Label-free Trajectory Extraction and Prediction from Videos using Dynamic Points [92.91569287889203]
  軌道抽出と予測のための新しいラベルなしアルゴリズムAutoTrajectoryを提案する。 動画中の移動物体をよりよく捉えるために,ダイナミックポイントを導入する。 ビデオ内の歩行者などの移動物体を表すインスタンスポイントに動的ポイントを集約する。
  論文  参考訳（メタデータ） (2020-07-11T08:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。