論文の概要: Robustness Evaluation in Hand Pose Estimation Models using Metamorphic Testing

• arxiv url: http://arxiv.org/abs/2303.04566v1
• Date: Wed, 8 Mar 2023 13:23:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 14:05:42.491573
• Title: Robustness Evaluation in Hand Pose Estimation Models using Metamorphic Testing
• Title（参考訳）: 変成試験を用いた手探り推定モデルのロバスト性評価
• Authors: Muxin Pu, Chun Yong Chong, Mei Kuan Lim
• Abstract要約: ハンドポーズ推定(HPE)は、画像やビデオフレームから手ポーズを予測し、記述するタスクである。 本研究では,HPEモデルのロバスト性を評価するためにメタモルフィックテストを採用する。
• 参考スコア（独自算出の注目度）: 2.535271349350579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hand pose estimation (HPE) is a task that predicts and describes the hand poses from images or video frames. When HPE models estimate hand poses captured in a laboratory or under controlled environments, they normally deliver good performance. However, the real-world environment is complex, and various uncertainties may happen, which could degrade the performance of HPE models. For example, the hands could be occluded, the visibility of hands could be reduced by imperfect exposure rate, and the contour of hands prone to be blurred during fast hand movements. In this work, we adopt metamorphic testing to evaluate the robustness of HPE models and provide suggestions on the choice of HPE models for different applications. The robustness evaluation was conducted on four state-of-the-art models, namely MediaPipe hands, OpenPose, BodyHands, and NSRM hand. We found that on average more than 80\% of the hands could not be identified by BodyHands, and at least 50\% of hands could not be identified by MediaPipe hands when diagonal motion blur is introduced, while an average of more than 50\% of strongly underexposed hands could not be correctly estimated by NSRM hand. Similarly, applying occlusions on only four hand joints will also largely degrade the performance of these models. The experimental results show that occlusions, illumination variations, and motion blur are the main obstacles to the performance of existing HPE models. These findings may pave the way for researchers to improve the performance and robustness of hand pose estimation models and their applications.
• Abstract（参考訳）: ハンドポーズ推定(HPE)は、画像やビデオフレームから手ポーズを予測し、記述するタスクである。 HPEモデルでは、実験室や制御された環境下での手でのポーズを推定すると、通常は良いパフォーマンスが得られる。 しかし、現実の環境は複雑であり、様々な不確実性が生じ、HPEモデルの性能が低下する可能性がある。 例えば、手は閉塞され、不完全な露出速度によって手の視認性は低下し、手の動きが速いときに手の輪郭がぼやけやすい。 本研究では,HPEモデルのロバスト性を評価するためにメタモルフィックテストを採用し,異なるアプリケーションに対するHPEモデルの選択について提案する。 このロバスト性評価はmediapipe hand, openpose, bodyhands, nsrm handの4モデルを用いて行った。 その結果, 手指の80～%以上は身体手では識別できず, 対角運動のぼやきが出現しても少なくとも50～%はメディアパイプ手では識別できなかったが, 強い露出の強い手の50～%以上はnsrm手では正確には推定できないことがわかった。 同様に、4つの手関節のみにオクルージョンを適用することで、これらのモデルの性能も大幅に低下する。 実験の結果,既存のHPEモデルの性能には,オクルージョン,照明の変動,動きのぼかしなどが大きな障害となることがわかった。 これらの知見は、手ポーズ推定モデルとその応用の性能と堅牢性を改善するための道を開く可能性がある。

関連論文リスト

• HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
  ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。 本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。 実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-04-04T02:15:16Z)
• On the Utility of 3D Hand Poses for Action Recognition [36.64538554919222]
  HandFormerは、手動オブジェクトの相互作用を効率的にモデル化する新しいマルチモーダルトランスである。 我々は手指のモデリングを分類し,その短期的軌跡によって各関節を表現した。 我々は,アセンブラ101およびH2O上での最先端性能を新たに達成し,エゴセントリックな動作認識を大幅に改善した。
  論文  参考訳（メタデータ） (2024-03-14T18:52:34Z)
• Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
  既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。 ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。 画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
  論文  参考訳（メタデータ） (2023-03-09T02:24:30Z)
• EvHandPose: Event-based 3D Hand Pose Estimation with Sparse Supervision [50.060055525889915]
  イベントカメラは3次元ポーズ推定において大きな可能性を示し、特に低消費電力で高速な動きと高ダイナミックレンジの課題に対処する。 特に手が動かない場合に手の動き情報をエンコードするイベント表現を設計することは困難である。 本稿では,手振り推定のためのイベント・ツー・Poseモジュールにおける新しい手振り表現を用いたEvHandPoseを提案する。
  論文  参考訳（メタデータ） (2023-03-06T03:27:17Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。