論文の概要: Skinned Motion Retargeting with Residual Perception of Motion Semantics & Geometry

• arxiv url: http://arxiv.org/abs/2303.08658v1
• Date: Wed, 15 Mar 2023 14:41:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 13:22:24.607404
• Title: Skinned Motion Retargeting with Residual Perception of Motion Semantics & Geometry
• Title（参考訳）: 運動セマンティクスと幾何の残留知覚を伴う皮膚運動再ターゲティング
• Authors: Jiaxu Zhang, Junwu Weng, Di Kang, Fang Zhao, Shaoli Huang, Xuefei Zhe, Linchao Bao, Ying Shan, Jue Wang and Zhigang Tu
• Abstract要約: 骨格と形状の双方のソース・ターゲットの違いを考慮しない限り、良好な動きは得られない。 本稿では,2つのニューラルネットワークモジュールに依存するResidual RETargeting Network (R2ET) 構造を提案する。 公開データセットの実験 Mixamoは、我々のR2ETが最先端のパフォーマンスを達成することを示した。
• 参考スコア（独自算出の注目度）: 34.53794943807786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A good motion retargeting cannot be reached without reasonable consideration of source-target differences on both the skeleton and shape geometry levels. In this work, we propose a novel Residual RETargeting network (R2ET) structure, which relies on two neural modification modules, to adjust the source motions to fit the target skeletons and shapes progressively. In particular, a skeleton-aware module is introduced to preserve the source motion semantics. A shape-aware module is designed to perceive the geometries of target characters to reduce interpenetration and contact-missing. Driven by our explored distance-based losses that explicitly model the motion semantics and geometry, these two modules can learn residual motion modifications on the source motion to generate plausible retargeted motion in a single inference without post-processing. To balance these two modifications, we further present a balancing gate to conduct linear interpolation between them. Extensive experiments on the public dataset Mixamo demonstrate that our R2ET achieves the state-of-the-art performance, and provides a good balance between the preservation of motion semantics as well as the attenuation of interpenetration and contact-missing. Code is available at https://github.com/Kebii/R2ET.
• Abstract（参考訳）: 良好な運動再ターゲティングは、骨格と形状の幾何レベルの両方のソース・ターゲットの違いを合理的に考慮せずには到達できない。 本研究では、2つのニューラル修飾モジュールに依存する新しいResidual RETargeting Network (R2ET) 構造を提案し、ターゲットの骨格と形状に徐々に適合するようにソースの動きを調整する。 特に、ソースモーションセマンティクスを保存するためにスケルトン対応モジュールが導入されている。 形状認識モジュールは、ターゲット文字のジオメトリを知覚し、相互接続と接触の欠如を減らすように設計されている。 動きのセマンティクスと幾何を明示的にモデル化した距離に基づく損失により、これらの2つのモジュールは、原運動の残留運動変化を学習し、後処理なしで単一の推論で可塑性再ターゲット運動を生成することができる。 これら2つの修正のバランスをとるために、さらに、それらの間の線形補間を行うためのバランスゲートを提示する。 公開データセットMixamoでの大規模な実験により、我々のR2ETは最先端のパフォーマンスを達成し、動きのセマンティクスの保存と相互接続の減衰のバランスが良好であることを実証した。 コードはhttps://github.com/kebii/r2etで入手できる。

関連論文リスト

• Correspondence-free online human motion retargeting [2.27087744374569]
  教師なし動作のための新しいデータ駆動型フレームワークを提案する。 ターゲットの体形とソースの動きを識別する。 これにより、異なる文字間での動きをリターゲットすることができる。
  論文  参考訳（メタデータ） (2023-02-01T16:23:21Z)
• Learning Policies for Continuous Control via Transition Models [2.831332389089239]
  ロボット制御では、腕のエンドエフェクターを目標位置または目標軌道に沿って移動させるには、正確な前方および逆モデルが必要である。 相互作用から遷移(前方)モデルを学習することで、償却されたポリシーの学習を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-09-16T16:23:48Z)
• MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
  多様な動きを合成する無条件生成モデルであるMoDiを提案する。 我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。 データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T09:06:25Z)
• MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
  そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。 モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
  論文  参考訳（メタデータ） (2021-12-19T07:52:05Z)
• Unsupervised Motion Representation Learning with Capsule Autoencoders [54.81628825371412]
  Motion Capsule Autoencoder (MCAE) は、2レベル階層のモーションをモデル化する。 MCAEは、新しいTrajectory20モーションデータセットと、様々な現実世界の骨格に基づく人間のアクションデータセットで評価されている。
  論文  参考訳（メタデータ） (2021-10-01T16:52:03Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)
• Learning Comprehensive Motion Representation for Action Recognition [124.65403098534266]
  2d cnnベースのメソッドは効率的であるが、各フレームに同じ2d畳み込みカーネルを適用することで冗長な機能が得られる。 最近の試みは、フレーム間接続を確立しながら、時間的受容野や高いレイテンシに苦しめながら、動き情報をキャプチャしようとするものである。 チャネルワイズゲートベクトルを用いた動的情報に関連するチャネルを適応的に強調するCME(Channel-wise Motion Enhancement)モジュールを提案する。 また,近接する特徴写像の点対点類似性に応じて,重要な目標を持つ領域に焦点をあてる空間的運動強調(SME)モジュールを提案する。
  論文  参考訳（メタデータ） (2021-03-23T03:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。