論文の概要: Temporally Guided Articulated Hand Pose Tracking in Surgical Videos

• arxiv url: http://arxiv.org/abs/2101.04281v3
• Date: Thu, 06 Feb 2025 20:04:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 18:29:32.593206
• Title: Temporally Guided Articulated Hand Pose Tracking in Surgical Videos
• Title（参考訳）: 手術映像における一時ガイド付き手指球追跡
• Authors: Nathan Louis, Luowei Zhou, Steven J. Yule, Roger D. Dias, Milisa Manojlovich, Francis D. Pagani, Donald S. Likosky, Jason J. Corso,
• Abstract要約: アーティキュレートされた手ポーズ追跡は、多くのアプリケーションで使用可能な可能性を秘めている未発見の問題である。 提案する手ポーズ推定モデルであるCondPoseは,その予測に先立ってポーズを組み込むことで,検出と追跡の精度を向上させる。
• 参考スコア（独自算出の注目度）: 22.752654546694334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Articulated hand pose tracking is an under-explored problem that carries the potential for use in an extensive number of applications, especially in the medical domain. With a robust and accurate tracking system on surgical videos, the motion dynamics and movement patterns of the hands can be captured and analyzed for many rich tasks. In this work, we propose a novel hand pose estimation model, CondPose, which improves detection and tracking accuracy by incorporating a pose prior into its prediction. We show improvements over state-of-the-art methods which provide frame-wise independent predictions, by following a temporally guided approach that effectively leverages past predictions. We collect Surgical Hands, the first dataset that provides multi-instance articulated hand pose annotations for videos. Our dataset provides over 8.1k annotated hand poses from publicly available surgical videos and bounding boxes, pose annotations, and tracking IDs to enable multi-instance tracking. When evaluated on Surgical Hands, we show our method outperforms the state-of-the-art approach using mean Average Precision (mAP), to measure pose estimation accuracy, and Multiple Object Tracking Accuracy (MOTA), to assess pose tracking performance. In comparison to a frame-wise independent strategy, we show greater performance in detecting and tracking hand poses and more substantial impact on localization accuracy. This has positive implications in generating more accurate representations of hands in the scene to be used for targeted downstream tasks.
• Abstract（参考訳）: アーティキュレートされた手ポーズ追跡(Articulated hand pose tracking)は、特に医療領域において、広範囲のアプリケーションでの使用の可能性をもたらす未発見の問題である。 手術ビデオ上での堅牢で正確な追跡システムにより、多くのリッチなタスクに対して手の運動力学と運動パターンを捕捉し分析することができる。 本研究では,提案する手ポーズ推定モデルであるCondPoseを提案する。 我々は,過去の予測を効果的に活用する時間的ガイド付きアプローチに従えば,フレーム単位の独立な予測を提供する最先端手法の改善を示す。 我々は、ビデオ用のマルチインスタンス手ポーズアノテーションを提供する最初のデータセットである、手術用ハンドを収集する。 我々のデータセットは、公開されている手術ビデオとバウンディングボックスから8.1k以上の注釈付き手ポーズ、アノテーションのポーズ、マルチインスタンス追跡を可能にするIDの追跡を提供する。 手術手を用いて評価すると,平均的平均精度(mAP)を用いてポーズ推定精度を計測し,多目的追跡精度(MOTA)を用いてポーズ追跡性能を評価する。 フレーム単位の独立戦略と比較して,手ポーズの検出・追跡性能が向上し,局所化精度が向上した。 これは、下流のタスクに使用されるシーンにおいて、より正確な手の表現を生成することに肯定的な意味を持つ。

関連論文リスト

• SIGHT: Single-Image Conditioned Generation of Hand Trajectories for Hand-Object Interaction [86.54738165527502]
  本研究では,物体の1つの画像に対して,現実的かつ多様な3次元ハンドトラジェクトリを生成する新しいタスクを提案する。 手動物体の相互作用の軌跡は、ロボット工学、具体化されたAI、拡張現実、および関連分野の応用に大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-03-28T20:53:20Z)
• Gaze-Guided 3D Hand Motion Prediction for Detecting Intent in Egocentric Grasping Tasks [5.018156030818883]
  本稿では,手ポーズと関節位置の両方の将来のシーケンスを予測する新しいアプローチを提案する。 ベクトル量子化された変分自動エンコーダを用いて,手の動き列予測のための自己回帰生成変換器を用いた手ポーズ符号化を行う。
  論文  参考訳（メタデータ） (2025-03-27T15:26:41Z)
• STEP: Simultaneous Tracking and Estimation of Pose for Animals and Humans [14.144097766150395]
  本稿では,トランスフォーマーに基づく識別予測モデルを用いて,多様な動物種と人間のポーズの同時追跡と推定を行う新しいフレームワークSTEPを紹介する。 当社のアプローチでは,トラッキング機能のため,フレーム単位のターゲット検出には依存していません。 実験では,既存手法と比較して優れた結果が得られ,様々な応用への扉が開けられた。
  論文  参考訳（メタデータ） (2025-03-17T16:22:00Z)
• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• Denoising Diffusion for 3D Hand Pose Estimation from Images [38.20064386142944]
  本稿では,モノクロ画像やシーケンスからの3次元手ポーズ推定の問題に対処する。 本稿では,3次元ハンドレグレッションのための新しいエンド・ツー・エンド・エンド・フレームワークを提案する。 提案モデルは,2次元の片手画像を3Dに持ち上げる際に,最先端の性能を提供する。
  論文  参考訳（メタデータ） (2023-08-18T12:57:22Z)
• POV-Surgery: A Dataset for Egocentric Hand and Tool Pose Estimation During Surgical Activities [4.989930168854209]
  POV-Surgeryは、異なる手術用手袋と3つの整形外科器具を持つ手のポーズ推定に焦点を当てた、大規模で合成されたエゴセントリックなデータセットである。 我々のデータセットは53のシーケンスと88,329のフレームで構成され、高解像度のRGB-Dビデオストリームとアクティビティアノテーションを備えている。 我々はPOV-Surgeryにおける現在のSOTA法を微調整し、手術用手袋と工具を用いた実生活症例に適用する際の一般化性を示す。
  論文  参考訳（メタデータ） (2023-07-19T18:00:32Z)
• Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments [66.74633676595889]
  静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。 第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。 第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
  論文  参考訳（メタデータ） (2023-05-05T13:42:19Z)
• ShaRPy: Shape Reconstruction and Hand Pose Estimation from RGB-D with Uncertainty [6.559796851992517]
  本稿では,最初のRGB-D形状再構成システムであるShaRPyを提案する。 ShaRPyはパーソナライズされた手の形を近似し、デジタルツインのより現実的で直感的な理解を促進する。 キーポイント検出ベンチマークを用いてShaRPyを評価し,筋骨格疾患の能動モニタリングのための手機能評価の質的結果を示した。
  論文  参考訳（メタデータ） (2023-03-17T15:12:25Z)
• Using Hand Pose Estimation To Automate Open Surgery Training Feedback [0.0]
  本研究は,外科医の自動訓練における最先端のコンピュータビジョンアルゴリズムの利用を促進することを目的としている。 2次元手のポーズを推定することにより,手の動きをモデル化し,手術器具との相互作用をモデル化する。
  論文  参考訳（メタデータ） (2022-11-13T21:47:31Z)
• HMD-EgoPose: Head-Mounted Display-Based Egocentric Marker-Less Tool and Hand Pose Estimation for Augmented Surgical Guidance [0.0]
  HMD-EgoPoseは、手動とオブジェクトのポーズ推定のための単発学習に基づくアプローチである。 マーカーレスハンドと手術器具のポーズトラッキングのためのベンチマークデータセット上で,最先端の性能を示す。
  論文  参考訳（メタデータ） (2022-02-24T04:07:34Z)
• Investigating Pose Representations and Motion Contexts Modeling for 3D Motion Prediction [63.62263239934777]
  歴史的ポーズシーケンスから人間の動きを予測することは、機械が人間と知的な相互作用を成功させるために不可欠である。 本研究では,様々なポーズ表現に関する詳細な研究を行い,その動作予測課題に対する効果に着目した。 AHMR(Attentive Hierarchical Motion Recurrent Network)と呼ばれる新しいRNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-30T10:45:22Z)
• Adversarial Motion Modelling helps Semi-supervised Hand Pose Estimation [116.07661813869196]
  そこで本稿では,非ラベルビデオに対人トレーニングとモーションモデリングのアイデアを組み合わせることを提案する。 本研究は,非ラベル映像系列の半教師あり学習により,逆方向が手ポーズ推定器の特性の向上につながることを示す。 このアプローチの主な利点は、ペアのトレーニングデータよりもはるかに容易に、未ペアのビデオとジョイントシーケンスデータを利用することができることです。
  論文  参考訳（メタデータ） (2021-06-10T17:50:19Z)
• Learning Dynamics via Graph Neural Networks for Human Pose Estimation and Tracking [98.91894395941766]
  ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。 具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。 PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-06-07T16:36:50Z)
• One-shot action recognition towards novel assistive therapies [63.23654147345168]
  この作業は、アクション模倣ゲームを含む医療療法の自動分析によって動機づけられます。 提案手法は、異種運動データ条件を標準化する前処理ステップを組み込んだものである。 自閉症者に対するセラピー支援のための自動ビデオ分析の実際の利用事例について検討した。
  論文  参考訳（メタデータ） (2021-02-17T19:41:37Z)
• Using Computer Vision to Automate Hand Detection and Tracking of Surgeon Movements in Videos of Open Surgery [8.095095522269352]
  コンピュータビジョンの進歩を活かし,外科手術の映像解析に自動的アプローチを導入する。 オブジェクト検出のための最先端の畳み込みニューラルネットワークアーキテクチャを使用して、開手術ビデオの操作手を検出する。 本モデルの操作手の空間的検出は、既存の手検出データセットを用いて達成した検出を大幅に上回る。
  論文  参考訳（メタデータ） (2020-12-13T03:10:09Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• AutoTrajectory: Label-free Trajectory Extraction and Prediction from Videos using Dynamic Points [92.91569287889203]
  軌道抽出と予測のための新しいラベルなしアルゴリズムAutoTrajectoryを提案する。 動画中の移動物体をよりよく捉えるために,ダイナミックポイントを導入する。 ビデオ内の歩行者などの移動物体を表すインスタンスポイントに動的ポイントを集約する。
  論文  参考訳（メタデータ） (2020-07-11T08:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。