論文の概要: Skinned Motion Retargeting with Residual Perception of Motion Semantics & Geometry

• arxiv url: http://arxiv.org/abs/2303.08658v1
• Date: Wed, 15 Mar 2023 14:41:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 13:22:24.607404
• Title: Skinned Motion Retargeting with Residual Perception of Motion Semantics & Geometry
• Title（参考訳）: 運動セマンティクスと幾何の残留知覚を伴う皮膚運動再ターゲティング
• Authors: Jiaxu Zhang, Junwu Weng, Di Kang, Fang Zhao, Shaoli Huang, Xuefei Zhe, Linchao Bao, Ying Shan, Jue Wang and Zhigang Tu
• Abstract要約: 骨格と形状の双方のソース・ターゲットの違いを考慮しない限り、良好な動きは得られない。 本稿では,2つのニューラルネットワークモジュールに依存するResidual RETargeting Network (R2ET) 構造を提案する。 公開データセットの実験 Mixamoは、我々のR2ETが最先端のパフォーマンスを達成することを示した。
• 参考スコア（独自算出の注目度）: 34.53794943807786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A good motion retargeting cannot be reached without reasonable consideration of source-target differences on both the skeleton and shape geometry levels. In this work, we propose a novel Residual RETargeting network (R2ET) structure, which relies on two neural modification modules, to adjust the source motions to fit the target skeletons and shapes progressively. In particular, a skeleton-aware module is introduced to preserve the source motion semantics. A shape-aware module is designed to perceive the geometries of target characters to reduce interpenetration and contact-missing. Driven by our explored distance-based losses that explicitly model the motion semantics and geometry, these two modules can learn residual motion modifications on the source motion to generate plausible retargeted motion in a single inference without post-processing. To balance these two modifications, we further present a balancing gate to conduct linear interpolation between them. Extensive experiments on the public dataset Mixamo demonstrate that our R2ET achieves the state-of-the-art performance, and provides a good balance between the preservation of motion semantics as well as the attenuation of interpenetration and contact-missing. Code is available at https://github.com/Kebii/R2ET.
• Abstract（参考訳）: 良好な運動再ターゲティングは、骨格と形状の幾何レベルの両方のソース・ターゲットの違いを合理的に考慮せずには到達できない。 本研究では、2つのニューラル修飾モジュールに依存する新しいResidual RETargeting Network (R2ET) 構造を提案し、ターゲットの骨格と形状に徐々に適合するようにソースの動きを調整する。 特に、ソースモーションセマンティクスを保存するためにスケルトン対応モジュールが導入されている。 形状認識モジュールは、ターゲット文字のジオメトリを知覚し、相互接続と接触の欠如を減らすように設計されている。 動きのセマンティクスと幾何を明示的にモデル化した距離に基づく損失により、これらの2つのモジュールは、原運動の残留運動変化を学習し、後処理なしで単一の推論で可塑性再ターゲット運動を生成することができる。 これら2つの修正のバランスをとるために、さらに、それらの間の線形補間を行うためのバランスゲートを提示する。 公開データセットMixamoでの大規模な実験により、我々のR2ETは最先端のパフォーマンスを達成し、動きのセマンティクスの保存と相互接続の減衰のバランスが良好であることを実証した。 コードはhttps://github.com/kebii/r2etで入手できる。

関連論文リスト

• Semantics-aware Motion Retargeting with Vision-Language Models [19.53696208117539]
  本稿では,意味ある動作意味論を抽出し,維持するために,視覚言語モデルを利用したセマンティックス・アウェア・モーション・リターゲティング(SMT)手法を提案する。 我々は3次元動作のレンダリングに微分可能モジュールを使用し、視覚言語モデルに入力し、抽出したセマンティック埋め込みを整合させることにより、高レベルなモーションセマンティクスを動作プロセスに組み込む。 微粒な動きの詳細と高レベルのセマンティクスの保存を確保するため、スケルトンを意識した事前学習とセマンティクスと幾何制約による微調整からなる2段階パイプラインを採用する。
  論文  参考訳（メタデータ） (2023-12-04T15:23:49Z)
• Bidirectionally Deformable Motion Modulation For Video-based Human Pose Transfer [19.5025303182983]
  ビデオベースのヒューマンポーズ転送は、ビデオからビデオへの生成タスクであり、一連のターゲットの人間のポーズに基づいて、プレーンソースのヒューマンイメージを識別する。 本稿では,不連続な特徴アライメントとスタイル転送を同時に行うために,適応重み変調を用いた幾何学的カーネルオフセットを用いた新しい変形可能運動変調(DMM)を提案する。
  論文  参考訳（メタデータ） (2023-07-15T09:24:45Z)
• Correspondence-free online human motion retargeting [1.7008985510992145]
  本研究では,対象対象と対象対象者の動作とを一致させる,教師なし動作のためのデータ駆動型フレームワークを提案する。 本手法は,震源形状と震源形状の対応を必要とせず,震源運動の異なるフレーム間の時間的対応も必要としない。 これにより、ターゲットの形状を動き中の人間の任意のシーケンスでアニメーションすることができる。
  論文  参考訳（メタデータ） (2023-02-01T16:23:21Z)
• MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
  多様な動きを合成する無条件生成モデルであるMoDiを提案する。 我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。 データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T09:06:25Z)
• JNMR: Joint Non-linear Motion Regression for Video Frame Interpolation [47.123769305867775]
  ビデオフレーム(VFI)は、双方向の歴史的参照から学習可能な動きを歪曲することでフレームを生成することを目的としている。 我々は、フレーム間の複雑な動きをモデル化するために、VFIをJNMR(Joint Non-linear Motion Regression)戦略として再構成する。 その結果, 関節運動の退行性は, 最先端の方法と比較して有意に向上した。
  論文  参考訳（メタデータ） (2022-06-09T02:47:29Z)
• MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
  そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。 モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
  論文  参考訳（メタデータ） (2021-12-19T07:52:05Z)
• Unsupervised Motion Representation Learning with Capsule Autoencoders [54.81628825371412]
  Motion Capsule Autoencoder (MCAE) は、2レベル階層のモーションをモデル化する。 MCAEは、新しいTrajectory20モーションデータセットと、様々な現実世界の骨格に基づく人間のアクションデータセットで評価されている。
  論文  参考訳（メタデータ） (2021-10-01T16:52:03Z)
• EAN: Event Adaptive Network for Enhanced Action Recognition [66.81780707955852]
  本稿では,映像コンテンツの動的性質を調査するための統合された行動認識フレームワークを提案する。 まず、局所的な手がかりを抽出する際に、動的スケールの時空間カーネルを生成し、多様な事象を適応的に適合させる。 第2に、これらのキューを正確にグローバルなビデオ表現に集約するために、トランスフォーマーによって選択されたいくつかの前景オブジェクト間のインタラクションのみをマイニングすることを提案する。
  論文  参考訳（メタデータ） (2021-07-22T15:57:18Z)
• Learning Comprehensive Motion Representation for Action Recognition [124.65403098534266]
  2d cnnベースのメソッドは効率的であるが、各フレームに同じ2d畳み込みカーネルを適用することで冗長な機能が得られる。 最近の試みは、フレーム間接続を確立しながら、時間的受容野や高いレイテンシに苦しめながら、動き情報をキャプチャしようとするものである。 チャネルワイズゲートベクトルを用いた動的情報に関連するチャネルを適応的に強調するCME(Channel-wise Motion Enhancement)モジュールを提案する。 また,近接する特徴写像の点対点類似性に応じて,重要な目標を持つ領域に焦点をあてる空間的運動強調(SME)モジュールを提案する。
  論文  参考訳（メタデータ） (2021-03-23T03:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。