論文の概要: Pose-aware Attention Network for Flexible Motion Retargeting by Body Part

• arxiv url: http://arxiv.org/abs/2306.08006v1
• Date: Tue, 13 Jun 2023 08:49:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 23:30:57.975819
• Title: Pose-aware Attention Network for Flexible Motion Retargeting by Body Part
• Title（参考訳）: 身体部分によるフレキシブル・モーション・リターゲティングのためのPose-Aware Attention Network
• Authors: Lei Hu, Zihao Zhang, Chongyang Zhong, Boyuan Jiang, Shihong Xia
• Abstract要約: モーションはコンピュータグラフィックスとコンピュータビジョンの基本的な問題である。 既存のアプローチには、通常多くの厳格な要件がある。 本稿では,新しいフレキシブル・モーション・フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 17.637846838499737
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motion retargeting is a fundamental problem in computer graphics and computer vision. Existing approaches usually have many strict requirements, such as the source-target skeletons needing to have the same number of joints or share the same topology. To tackle this problem, we note that skeletons with different structure may have some common body parts despite the differences in joint numbers. Following this observation, we propose a novel, flexible motion retargeting framework. The key idea of our method is to regard the body part as the basic retargeting unit rather than directly retargeting the whole body motion. To enhance the spatial modeling capability of the motion encoder, we introduce a pose-aware attention network (PAN) in the motion encoding phase. The PAN is pose-aware since it can dynamically predict the joint weights within each body part based on the input pose, and then construct a shared latent space for each body part by feature pooling. Extensive experiments show that our approach can generate better motion retargeting results both qualitatively and quantitatively than state-of-the-art methods. Moreover, we also show that our framework can generate reasonable results even for a more challenging retargeting scenario, like retargeting between bipedal and quadrupedal skeletons because of the body part retargeting strategy and PAN. Our code is publicly available.
• Abstract（参考訳）: モーションリターゲティングはコンピュータグラフィックスとコンピュータビジョンの基本的な問題である。 既存のアプローチは通常、同じ数の関節を持つか、同じトポロジーを共有する必要のあるソースターゲットスケルトンなど、多くの厳密な要件を持つ。 この問題に取り組むために, 構造が異なる骨格は, 関節数の違いにもかかわらず, 体の一部が共通している可能性があることに留意する。 そこで本研究では,新しいフレキシブル・モーション・リターゲティング・フレームワークを提案する。 本手法のキーとなる考え方は,身体の運動を直接的に再ターゲットするのではなく,身体部位を基本的再ターゲット単位とみなすことである。 モーションエンコーダの空間モデリング能力を高めるため,動作符号化フェーズにポーズ認識型アテンションネットワーク(PAN)を導入する。 パンは、入力ポーズに基づいて各本体部内の関節重みを動的に予測し、特徴プーリングにより各本体部の共有潜在空間を構築することができるため、ポーズアウェアである。 広範な実験により,本手法は最新手法よりも質的かつ定量的に運動再ターゲティング結果を生成することができることが示された。 さらに,体部再ターゲティング戦略とpanにより,二足骨と四足骨のリターゲティングなど,より困難な再ターゲティングシナリオにおいても合理的な結果が得られることを示した。 私たちのコードは公開されています。

関連論文リスト

• Part-aware Prototypical Graph Network for One-shot Skeleton-based Action Recognition [57.86960990337986]
  ワンショットスケルトンに基づくアクション認識は、ベースクラスから新しいクラスへの変換可能な表現を学習する上で、ユニークな課題となる。 単発骨格に基づく行動認識のためのパートアウェアなプロトタイプ表現を提案する。 本手法の有効性を2つの公開骨格に基づく行動認識データセットに示す。
  論文  参考訳（メタデータ） (2022-08-19T04:54:56Z)
• SpatioTemporal Focus for Skeleton-based Action Recognition [66.8571926307011]
  グラフ畳み込みネットワーク(GCN)は骨格に基づく行動認識において広く採用されている。 近年提案されている骨格に基づく行動認識法の性能は以下の要因によって制限されていると論じる。 近年の注目機構に着想を得て,アクション関連関係情報を取得するためのマルチグラインド・コンテキスト集中モジュール MCF を提案する。
  論文  参考訳（メタデータ） (2022-03-31T02:45:24Z)
• Learning Target-aware Representation for Visual Tracking via Informative Interactions [49.552877881662475]
  トラッキングのための特徴表現のターゲット認識能力を改善するために,新しいバックボーンアーキテクチャを提案する。 提案したGIMモジュールとInBN機構は、CNNやTransformerなど、さまざまなバックボーンタイプに適用可能である。
  論文  参考訳（メタデータ） (2022-01-07T16:22:27Z)
• Hierarchical Neural Implicit Pose Network for Animation and Motion Retargeting [66.69067601079706]
  HIPNetは、複数のポーズで訓練された暗黙のポーズネットワークである。 階層的な骨格に基づく表現を用いて、正準非正則空間上の符号付き距離関数を学習する。 種々の単目的および多目的のベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-12-02T03:25:46Z)
• Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
  本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。 次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。 これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-07-27T14:30:33Z)
• Pose-based Modular Network for Human-Object Interaction Detection [5.6397911482914385]
  提案するPose-based Modular Network (PMN) は,絶対的なポーズ特徴と相対的な空間的ポーズ特徴を探索し,HOI検出を改善する。 提案手法を評価するため,VS-GATと呼ばれる最新技術モデルと組み合わせ,2つの公開ベンチマークにおいて大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-08-05T10:56:09Z)
• Skeleton-Aware Networks for Deep Motion Retargeting [83.65593033474384]
  骨格間のデータ駆動動作のための新しいディープラーニングフレームワークを提案する。 我々の手法は、トレーニングセットの運動間の明確なペアリングを必要とせずに、再ターゲティングの仕方を学ぶ。
  論文  参考訳（メタデータ） (2020-05-12T12:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。