論文の概要: Hand-Shadow Poser

• arxiv url: http://arxiv.org/abs/2505.07012v1
• Date: Sun, 11 May 2025 15:15:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.160079
• Title: Hand-Shadow Poser
• Title（参考訳）: Hand-Shadow Poser
• Authors: Hao Xu, Yinqiao Wang, Niloy J. Mitra, Shuaicheng Liu, Pheng-Ann Heng, Chi-Wing Fu,
• Abstract要約: 手影芸術は、創造的に手影を使って、壁の表現的な形を再現する、魅惑的な芸術形式である。 本研究では,対象の形状が与えられた場合,入力に類似した影を生成する左右の手のポーズを求める。 これらの課題に対処するために、3段階のパイプラインであるHand-Shadow Poserを設計し、(手で)解剖学的制約と(シャドー形状で)意味論的制約を分離します。
• 参考スコア（独自算出の注目度）: 119.01376087903874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hand shadow art is a captivating art form, creatively using hand shadows to reproduce expressive shapes on the wall. In this work, we study an inverse problem: given a target shape, find the poses of left and right hands that together best produce a shadow resembling the input. This problem is nontrivial, since the design space of 3D hand poses is huge while being restrictive due to anatomical constraints. Also, we need to attend to the input's shape and crucial features, though the input is colorless and textureless. To meet these challenges, we design Hand-Shadow Poser, a three-stage pipeline, to decouple the anatomical constraints (by hand) and semantic constraints (by shadow shape): (i) a generative hand assignment module to explore diverse but reasonable left/right-hand shape hypotheses; (ii) a generalized hand-shadow alignment module to infer coarse hand poses with a similarity-driven strategy for selecting hypotheses; and (iii) a shadow-feature-aware refinement module to optimize the hand poses for physical plausibility and shadow feature preservation. Further, we design our pipeline to be trainable on generic public hand data, thus avoiding the need for any specialized training dataset. For method validation, we build a benchmark of 210 diverse shadow shapes of varying complexity and a comprehensive set of metrics, including a novel DINOv2-based evaluation metric. Through extensive comparisons with multiple baselines and user studies, our approach is demonstrated to effectively generate bimanual hand poses for a large variety of hand shapes for over 85% of the benchmark cases.
• Abstract（参考訳）: 手影芸術は、創造的に手影を使って、壁の表現的な形を再現する、魅惑的な芸術形式である。 本研究では, 対象の形状が与えられた場合, 左右の手のポーズを見つけ, 入力に類似した影を最もよく生成する。 3次元ハンドポーズの設計空間は、解剖学的制約により制限されながら巨大であるため、この問題は自明ではない。 また、入力の形状や重要な特徴にも従わなければなりませんが、入力は無色でテクスチャレスです。 これらの課題に対処するため、3段階のパイプラインであるHand-Shadow Poserを設計し、解剖学的制約(手で)と意味的制約(シャドウ形状で)を分離します。 一 多様なが合理的な左右の仮説を探求するための生成手振りモジュール (II)粗い手を推定するための一般化された手陰アライメントモジュールは、仮説を選択するための類似性駆動型戦略でポーズする。 三 身体的可視性及び影特徴保存のための手ポーズを最適化するシャドウ機能対応リファインメントモジュール。 さらに、汎用的なパブリックハンドデータでトレーニング可能なパイプラインを設計し、特別なトレーニングデータセットを必要としないようにしています。 方法検証のために,新しいDINOv2に基づく評価指標を含む,複雑さの異なる210種類の影形状のベンチマークを構築した。 複数のベースラインとユーザスタディとの広範な比較により,ベンチマークケースの85%以上において,多種多様な手形の手ポーズを効果的に生成できることが実証された。

関連論文リスト

• HaSPeR: An Image Repository for Hand Shadow Puppet Recognition [2.048226951354646]
  シャドウグラフィー(Shadowgraphy)またはボンボマニー(ombromanie)は、演劇芸術とストーリーテリングの一形態である。 プロとアマチュアの両方の手影人形クリップから抽出した15のクラスに15,000枚の手影人形画像からなる新しいデータセットを提案する。 本研究は,注目型トランスアーキテクチャよりも,スキップ接続型畳み込みモデルの大幅な性能上の優位性を示すものである。
  論文  参考訳（メタデータ） (2024-08-19T18:56:24Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• Im2Hands: Learning Attentive Implicit Representation of Interacting Two-Hand Shapes [58.551154822792284]
  Implicit Two Hands (Im2Hands) は、2つの相互作用する手の最初の暗黙の表現である。 Im2Handsは、両手と手と手と画像のコヒーレンシーの高い2つの手のきめ細かい幾何学を生成することができる。 両手再建におけるIm2Handsの有効性を, 関連手法と比較して実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-28T06:38:25Z)
• Mask2Hand: Learning to Predict the 3D Hand Pose and Shape from Shadow [13.9320397231143]
  Mask2Handは、手書きの注釈付きデータなしで手書きシルエット/シェードウの2Dバイナリマスクから3Dのポーズと形状を予測するという難題を解決することを学ぶ。 実験の結果,1つの二項マスクを入力として用いた手法は,不整合と整合性の両方の設定において,同等の予測精度が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-31T06:04:27Z)
• Collaborative Learning for Hand and Object Reconstruction with Attention-guided Graph Convolution [49.10497573378427]
  インタラクション中の手や物体のポーズと形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。 我々のアルゴリズムはオブジェクトモデルへの最適化であり、手動オブジェクトの相互作用を管理する物理規則を学習する。 広範に使用されている4つのベンチマークを用いて実験したところ、我々のフレームワークは3次元ポーズ推定における最先端の精度を超えて達成でき、また、密集した3次元手や物体の形状を復元できることがわかった。
  論文  参考訳（メタデータ） (2022-04-27T17:00:54Z)
• LISA: Learning Implicit Shape and Appearance of Hands [33.477530463242275]
  そこで本論文では,LISA という人間の手のドーイット・オール・ニューラルモデルを提案する。 このモデルは、正確な手の形と外観をキャプチャし、任意の対象に一般化し、密集した表面対応を提供し、野生の画像から再構成し、容易にアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-04-04T17:59:03Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。