論文の概要: Skeleton-Aware Networks for Deep Motion Retargeting

• arxiv url: http://arxiv.org/abs/2005.05732v1
• Date: Tue, 12 May 2020 12:51:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 18:50:02.063601
• Title: Skeleton-Aware Networks for Deep Motion Retargeting
• Title（参考訳）: ディープモーション再ターゲティングのためのスケルトンアウェアネットワーク
• Authors: Kfir Aberman, Peizhuo Li, Dani Lischinski, Olga Sorkine-Hornung, Daniel Cohen-Or, Baoquan Chen
• Abstract要約: 骨格間のデータ駆動動作のための新しいディープラーニングフレームワークを提案する。 我々の手法は、トレーニングセットの運動間の明確なペアリングを必要とせずに、再ターゲティングの仕方を学ぶ。
• 参考スコア（独自算出の注目度）: 83.65593033474384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel deep learning framework for data-driven motion retargeting between skeletons, which may have different structure, yet corresponding to homeomorphic graphs. Importantly, our approach learns how to retarget without requiring any explicit pairing between the motions in the training set. We leverage the fact that different homeomorphic skeletons may be reduced to a common primal skeleton by a sequence of edge merging operations, which we refer to as skeletal pooling. Thus, our main technical contribution is the introduction of novel differentiable convolution, pooling, and unpooling operators. These operators are skeleton-aware, meaning that they explicitly account for the skeleton's hierarchical structure and joint adjacency, and together they serve to transform the original motion into a collection of deep temporal features associated with the joints of the primal skeleton. In other words, our operators form the building blocks of a new deep motion processing framework that embeds the motion into a common latent space, shared by a collection of homeomorphic skeletons. Thus, retargeting can be achieved simply by encoding to, and decoding from this latent space. Our experiments show the effectiveness of our framework for motion retargeting, as well as motion processing in general, compared to existing approaches. Our approach is also quantitatively evaluated on a synthetic dataset that contains pairs of motions applied to different skeletons. To the best of our knowledge, our method is the first to perform retargeting between skeletons with differently sampled kinematic chains, without any paired examples.
• Abstract（参考訳）: 骨格間のデータ駆動型動き再ターゲティングのための新しいディープラーニングフレームワークを導入し,その構造は異なるが,同相グラフに対応する。 重要なことは、トレーニングセットの動作間の明確なペアリングを必要とせずに、再ターゲットする方法を学ぶことだ。 我々は、異なる同型骨格が共通の原始骨格に、エッジマージ操作によって還元される可能性があるという事実を活用し、骨格プール(skeletal pooling)と呼ぶ。 したがって、我々の主な技術的貢献は、新しい微分可能な畳み込み、プーリング、アンプール演算子の導入です。 これらのオペレーターは骨格を意識しており、骨格の階層構造と関節の隣接性を明確に説明し、ともに元の動きを原始骨格の関節に関連する深い時間的特徴の集まりに変換するのに役立つ。 言い換えれば、我々のオペレーターは、運動を共通の潜在空間に埋め込む新しいディープモーション処理フレームワークの構築ブロックを形成し、同型骨格の集合によって共有される。 したがって、再ターゲティングは単にこの潜在空間にエンコードし、復号することで達成することができる。 本実験は, 従来の手法と比較して, モーション・リターゲティングおよびモーション・プロセッシングの枠組みの有効性を示した。 また,異なる骨格に適用された動きのペアを含む合成データセットを用いて定量的に評価した。 私たちの知る限りでは、この手法は、サンプルの異なるキネマティックチェーンを持つ骨格間で、ペアの例なしで再ターゲティングを行う最初の方法です。

関連論文リスト

• SkateFormer: Skeletal-Temporal Transformer for Human Action Recognition [25.341177384559174]
  我々はSkateFormer(SkateFormer)と呼ばれる新しい手法を提案する。 SkateFormerは、さまざまなタイプの骨格と時間の関係に基づいて関節とフレームを分割する。 アクション適応的な方法で、アクション認識に不可欠なキージョイントやフレームに選択的にフォーカスすることができる。
  論文  参考訳（メタデータ） (2024-03-14T15:55:53Z)
• SkeleTR: Towrads Skeleton-based Action Recognition in the Wild [86.03082891242698]
  SkeleTRは骨格に基づく行動認識のための新しいフレームワークである。 まず、グラフ畳み込みによる各骨格配列の人体内骨格力学をモデル化する。 次に、スタック化されたTransformerエンコーダを使用して、一般的なシナリオにおけるアクション認識に重要な人物のインタラクションをキャプチャする。
  論文  参考訳（メタデータ） (2023-09-20T16:22:33Z)
• LAC: Latent Action Composition for Skeleton-based Action Segmentation [21.797658771678066]
  骨格に基づくアクションセグメンテーションでは、トリミングされていないビデオの中で構成可能なアクションを認識する必要がある。 現在のアプローチでは、まずスケルトン配列から局所的な視覚的特徴を抽出し、時間モデルでそれらを処理し、フレームワイズアクションを分類することでこの問題を分離している。 骨格をベースとしたアクションセグメンテーションのための合成構成可能な動作から学習することを目的とした,新しい自己教師型フレームワークであるLatent Action composition (LAC)を提案する。
  論文  参考訳（メタデータ） (2023-08-28T11:20:48Z)
• Pose-aware Attention Network for Flexible Motion Retargeting by Body Part [17.637846838499737]
  モーションはコンピュータグラフィックスとコンピュータビジョンの基本的な問題である。 既存のアプローチには、通常多くの厳格な要件がある。 本稿では,新しいフレキシブル・モーション・フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-13T08:49:29Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Hierarchical Neural Implicit Pose Network for Animation and Motion Retargeting [66.69067601079706]
  HIPNetは、複数のポーズで訓練された暗黙のポーズネットワークである。 階層的な骨格に基づく表現を用いて、正準非正則空間上の符号付き距離関数を学習する。 種々の単目的および多目的のベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-12-02T03:25:46Z)
• Skeleton-Contrastive 3D Action Representation Learning [35.06361753065124]
  本稿では,骨格に基づく行動認識に適した特徴空間の自己教師型学習を目指す。 提案手法は,PKUデータセットとNTUデータセットのスケルトンデータからの自己教師付き学習における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-08-08T14:44:59Z)
• MotioNet: 3D Human Motion Reconstruction from Monocular Video with Skeleton Consistency [72.82534577726334]
  モノクロビデオから3次元人間の骨格の動きを直接再構成するディープニューラルネットワークであるMotioNetを紹介した。 本手法は,動作表現を完全かつ一般的に使用するキネマティックスケルトンを直接出力する最初のデータ駆動型手法である。
  論文  参考訳（メタデータ） (2020-06-22T08:50:09Z)
• Image Co-skeletonization via Co-segmentation [102.59781674888657]
  我々は,新しい共同処理の話題である画像コスケルトン化を提案する。 単一の自然な画像におけるオブジェクトのスケルトン化は、オブジェクトに関する事前の知識がほとんどないため、難しい問題である。 本稿では,コ・スケルトン化とコ・セグメンテーション・タスクの結合フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-12T09:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。