論文の概要: ShaRPy: Shape Reconstruction and Hand Pose Estimation from RGB-D with
Uncertainty
- arxiv url: http://arxiv.org/abs/2303.10042v2
- Date: Tue, 12 Sep 2023 13:08:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 17:31:30.145015
- Title: ShaRPy: Shape Reconstruction and Hand Pose Estimation from RGB-D with
Uncertainty
- Title（参考訳）: ShaRPy:不確実性のあるRGB-Dの形状再構成と手探り推定
- Authors: Vanessa Wirth, Anna-Maria Liphardt, Birte Coppers, Johanna Br\"aunig,
Simon Heinrich, Sigrid Leyendecker, Arnd Kleyer, Georg Schett, Martin
Vossiek, Bernhard Egger, Marc Stamminger
- Abstract要約: 本稿では,最初のRGB-D形状再構成システムであるShaRPyを提案する。
ShaRPyはパーソナライズされた手の形を近似し、デジタルツインのより現実的で直感的な理解を促進する。
キーポイント検出ベンチマークを用いてShaRPyを評価し,筋骨格疾患の能動モニタリングのための手機能評価の質的結果を示した。
- 参考スコア（独自算出の注目度）: 6.559796851992517
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite their potential, markerless hand tracking technologies are not yet
applied in practice to the diagnosis or monitoring of the activity in
inflammatory musculoskeletal diseases. One reason is that the focus of most
methods lies in the reconstruction of coarse, plausible poses, whereas in the
clinical context, accurate, interpretable, and reliable results are required.
Therefore, we propose ShaRPy, the first RGB-D Shape Reconstruction and hand
Pose tracking system, which provides uncertainty estimates of the computed
pose, e.g., when a finger is hidden or its estimate is inconsistent with the
observations in the input, to guide clinical decision-making. Besides pose,
ShaRPy approximates a personalized hand shape, promoting a more realistic and
intuitive understanding of its digital twin. Our method requires only a
light-weight setup with a single consumer-level RGB-D camera yet it is able to
distinguish similar poses with only small joint angle deviations in a
metrically accurate space. This is achieved by combining a data-driven dense
correspondence predictor with traditional energy minimization. To bridge the
gap between interactive visualization and biomedical simulation we leverage a
parametric hand model in which we incorporate biomedical constraints and
optimize for both, its pose and hand shape. We evaluate ShaRPy on a keypoint
detection benchmark and show qualitative results of hand function assessments
for activity monitoring of musculoskeletal diseases.
- Abstract（参考訳）: その可能性にもかかわらず、マーカーレスハンドトラッキング技術は、炎症性筋骨格疾患における活動の診断やモニタリングに実際は適用されていない。
その理由の1つは、ほとんどの方法の焦点が粗い、妥当なポーズの再構築にあるのに対して、臨床的文脈では、正確で、解釈可能で、信頼できる結果が必要であることである。
そこで本研究では,最初のrgb-d形状再構成・手姿勢追跡システムであるsharpyを提案する。
ShaRPyはポーズに加え、パーソナライズされた手の形を近似し、デジタル双生児のより現実的で直感的な理解を促進する。
提案手法では,1台のコンシューマレベルのRGB-Dカメラによる軽量な設定しか必要としないが,測定精度の低い空間において,小さな関節角偏差しか持たない類似のポーズを識別できる。
これはデータ駆動型高密度対応予測器と従来のエネルギー最小化を組み合わせたものである。
インタラクティブな可視化と生体シミュレーションのギャップを埋めるために、我々は生体医学的制約を取り入れ、そのポーズと手形の両方を最適化するパラメトリックハンドモデルを利用する。
キーポイント検出ベンチマークを用いてShaRPyを評価し,筋骨格疾患の能動モニタリングのための手機能評価の質的結果を示した。
関連論文リスト
- MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。
このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。
また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
論文 参考訳（メタデータ） (2024-04-16T02:18:18Z) - Analyzing Participants' Engagement during Online Meetings Using Unsupervised Remote Photoplethysmography with Behavioral Features [50.82725748981231]
エンゲージメント測定は、医療、教育、サービスに応用される。
生理的特徴と行動的特徴の使用は可能であるが、従来の生理的測定の非現実性は接触センサーの必要性により生じる。
コンタクトセンサの代替として, 教師なし光胸腺造影(胸腔鏡)の有用性を実証する。
論文 参考訳（メタデータ） (2024-04-05T20:39:16Z) - KIDS: kinematics-based (in)activity detection and segmentation in a
sleep case study [5.707737640557724]
睡眠行動とベッド内の運動は、人々の神経生理学的健康に関する豊富な情報を含んでいる。
本稿では,臨床的に有意な関節キネマティクスに基づく客観的(in)アクティビティ検出とセグメンテーションのためのオンラインベイズ確率的枠組みを提案する。
論文 参考訳（メタデータ） (2023-01-04T16:24:01Z) - Benchmarking Heterogeneous Treatment Effect Models through the Lens of
Interpretability [82.29775890542967]
治療のパーソナライズされた効果を見積もるのは複雑だが、普及している問題である。
ヘテロジニアス処理効果推定に関する機械学習文献の最近の進歩は、洗練されたが不透明なツールの多くを生み出した。
我々は、ポストホックな特徴重要度法を用いて、モデルの予測に影響を及ぼす特徴を特定する。
論文 参考訳（メタデータ） (2022-06-16T17:59:05Z) - In-Bed Human Pose Estimation from Unseen and Privacy-Preserving Image
Domains [22.92165116962952]
ベッド内の人間の姿勢推定は、医療状況の評価において潜在的な価値を持つ重要な健康関連指標を提供する。
本稿では,マルチモーダル条件変分オートエンコーダ(MC-VAE)を提案する。
本研究は, 身体位置が利用可能なモダリティから効果的に認識できることを示し, ベースラインモデルと同等の結果が得られることを示した。
論文 参考訳（メタデータ） (2021-11-30T04:56:16Z) - Real-time landmark detection for precise endoscopic submucosal
dissection via shape-aware relation network [51.44506007844284]
内視鏡下粘膜下郭清術における高精度かつリアルタイムなランドマーク検出のための形状認識型関係ネットワークを提案する。
まず,ランドマーク間の空間的関係に関する先行知識を直感的に表現する関係キーポイント・ヒートマップを自動生成するアルゴリズムを考案する。
次に、事前知識を学習プロセスに段階的に組み込むために、2つの補完的な正規化手法を開発する。
論文 参考訳（メタデータ） (2021-11-08T07:57:30Z) - Data-driven generation of plausible tissue geometries for realistic
photoacoustic image synthesis [53.65837038435433]
光音響トモグラフィ(pat)は形態的および機能的組織特性を回復する可能性がある。
我々は,PATデータシミュレーションの新たなアプローチを提案し,これを「シミュレーションの学習」と呼ぶ。
我々は、意味的注釈付き医療画像データに基づいて訓練されたGAN(Generative Adversarial Networks)の概念を活用して、可塑性組織ジオメトリを生成する。
論文 参考訳（メタデータ） (2021-03-29T11:30:18Z) - Multi-view Human Pose and Shape Estimation Using Learnable Volumetric
Aggregation [0.0]
キャリブレーションされた多視点画像から3次元人体ポーズと形状を再構成する学習可能なアグリゲーション手法を提案する。
従来の手法と比較して,我々のフレームワークは,コスト効率を考えると,より精度が高く,リアルタイムな予測が期待できる。
論文 参考訳（メタデータ） (2020-11-26T18:33:35Z) - Appearance Learning for Image-based Motion Estimation in Tomography [60.980769164955454]
トモグラフィー画像では、取得した信号に擬似逆フォワードモデルを適用することにより、解剖学的構造を再構成する。
患者の動きは、復元過程における幾何学的アライメントを損なうため、運動アーティファクトが生じる。
本研究では,スキャン対象から独立して剛性運動の構造を認識する外観学習手法を提案する。
論文 参考訳（メタデータ） (2020-06-18T09:49:11Z) - Patient Specific Biomechanics Are Clinically Significant In Accurate
Computer Aided Surgical Image Guidance [3.5760618920650398]
拡張現実(Augmented Reality)は、画像ガイド手術(AR IG)において、術前の画像から手術用ランドマークをビデオオーバーレイに融合するために用いられる。
手術の進行に伴ってランドマークの正確な位置を維持するためには,物理シミュレーションが不可欠である。
肝外科では、AR IGシミュレーションの精度は、患者の疾患に対する硬さの変化をモデル化できないことによって妨げられる。
我々は磁気共鳴エラストグラフィー(MRE)データに基づく患者特有の硬さ変化を考慮に入れた新しい方法を提案する。
論文 参考訳（メタデータ） (2020-01-29T08:11:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。