論文の概要: STaR: Seamless Spatial-Temporal Aware Motion Retargeting with Penetration and Consistency Constraints

• arxiv url: http://arxiv.org/abs/2504.06504v1
• Date: Wed, 09 Apr 2025 00:37:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:06:31.436562
• Title: STaR: Seamless Spatial-Temporal Aware Motion Retargeting with Penetration and Consistency Constraints
• Title（参考訳）: STaR: 浸透と一貫性を制約したシームレス空間認識運動
• Authors: Xiaohang Yang, Qing Wang, Jiahao Yang, Gregory Slabaugh, Shanxin Yuan,
• Abstract要約: 時空間運動再ターゲティング(STaR)のための新しいシーケンス・ツー・シーケンスモデルを提案する。 STaRは,(1)高密度な形状表現を組み込んだ空間モジュールと,(2)動きのセマンティクスを保ちながら幾何的可視性を確保するための新しい手足浸透制約と,(2)時間変換器と時間的整合性制約を用いて,多段軌道の滑らかさを保ちながら運動列全体を同時に予測する時間モジュールの2つのモジュールから構成される。
• 参考スコア（独自算出の注目度）: 12.307413108334657
• License:
• Abstract: Motion retargeting seeks to faithfully replicate the spatio-temporal motion characteristics of a source character onto a target character with a different body shape. Apart from motion semantics preservation, ensuring geometric plausibility and maintaining temporal consistency are also crucial for effective motion retargeting. However, many existing methods prioritize either geometric plausibility or temporal consistency. Neglecting geometric plausibility results in interpenetration while neglecting temporal consistency leads to motion jitter. In this paper, we propose a novel sequence-to-sequence model for seamless Spatial-Temporal aware motion Retargeting (STaR), with penetration and consistency constraints. STaR consists of two modules: (1) a spatial module that incorporates dense shape representation and a novel limb penetration constraint to ensure geometric plausibility while preserving motion semantics, and (2) a temporal module that utilizes a temporal transformer and a novel temporal consistency constraint to predict the entire motion sequence at once while enforcing multi-level trajectory smoothness. The seamless combination of the two modules helps us achieve a good balance between the semantic, geometric, and temporal targets. Extensive experiments on the Mixamo and ScanRet datasets demonstrate that our method produces plausible and coherent motions while significantly reducing interpenetration rates compared with other approaches.
• Abstract（参考訳）: 動き再ターゲティングは、ソースキャラクタの時空間運動特性を、異なる身体形状のターゲットキャラクタに忠実に再現しようとする。 動きのセマンティクスの保存とは別に、幾何学的妥当性の確保と時間的一貫性の維持は、効果的な動きの再ターゲティングにも不可欠である。 しかし、多くの既存の手法は幾何学的妥当性または時間的一貫性を優先している。 幾何的可視性を無視すると、時間的一貫性を無視しながら相互接続が起こり、動きジッタが発生する。 本稿では,シームレスな空間的認識運動再ターゲティング(STaR)のための新しいシーケンス・ツー・シーケンスモデルを提案する。 STaRは,(1)高密度な形状表現を組み込んだ空間モジュールと,(2)動きのセマンティクスを保ちながら幾何的可視性を確保するための新しい手足浸透制約と,(2)時間変換器と新しい時間整合制約を併用した時間モジュールとで構成される。 2つのモジュールのシームレスな組み合わせは、意味的、幾何学的、時間的目標のバランスを良くするのに役立つ。 Mixamo と ScanRet データセットの大規模な実験により,本手法は可塑性およびコヒーレントな動きを生成できるが,他の手法と比較して相互接続速度は著しく低下することがわかった。

関連論文リスト

• Learning segmentation from point trajectories [79.02153797465326]
  本稿では,光フローを補完する監視信号として,長期的点軌跡を用いたセグメンテーションネットワークを訓練する方法を提案する。 本手法は,モーションベースセグメンテーションにおける先行技術より優れる。
  論文  参考訳（メタデータ） (2025-01-21T18:59:53Z)
• Event-Based Tracking Any Point with Motion-Augmented Temporal Consistency [58.719310295870024]
  本稿では,任意の点を追跡するイベントベースのフレームワークを提案する。 出来事の空間的空間性や動きの感度によって引き起こされる課題に対処する。 競合モデルパラメータによる処理を150%高速化する。
  論文  参考訳（メタデータ） (2024-12-02T09:13:29Z)
• SIRA: Scalable Inter-frame Relation and Association for Radar Perception [1.6374393626466721]
  我々は,時間的特徴関係を拡張地平線上で利用し,有効結合のための空間的動きの整合性を適用した。 提案手法は,オブジェクト指向オブジェクト検出のための58.11 mAP@0.5,Radiateデータセット上の複数オブジェクト追跡のための47.79 MOTAを実現する。
  論文  参考訳（メタデータ） (2024-11-04T16:14:35Z)
• A Decoupled Spatio-Temporal Framework for Skeleton-based Action Segmentation [89.86345494602642]
  既存の手法は、弱い時間的モデリング能力に制限されている。 この問題に対処するために、Decoupled Scoupled Framework (DeST)を提案する。 DeSTは計算量が少なく、現在の最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-10T09:11:39Z)
• Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.68088298632865]
  HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。 従来の手法は手作りの機能と機械学習技術に依存している。 HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T12:04:28Z)
• Skinned Motion Retargeting with Residual Perception of Motion Semantics & Geometry [34.53794943807786]
  骨格と形状の双方のソース・ターゲットの違いを考慮しない限り、良好な動きは得られない。 本稿では,2つのニューラルネットワークモジュールに依存するResidual RETargeting Network (R2ET) 構造を提案する。 公開データセットの実験 Mixamoは、我々のR2ETが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2023-03-15T14:41:26Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• Spatial Temporal Graph Attention Network for Skeleton-Based Action Recognition [10.60209288486904]
  骨格に基づく行動認識の現在の手法では、主に長期の時間的依存関係のキャプチャを検討するのが一般的である。 本稿では,時空情報の流れをモデル化する汎用フレームワークSTGATを提案する。 STGATは3つの大規模データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-18T02:34:46Z)
• Decoupling and Recoupling Spatiotemporal Representation for RGB-D-based Motion Recognition [62.46544616232238]
  従来の動作認識手法は、密結合した多時間表現によって有望な性能を実現している。 本稿では,RGB-D に基づく動作認識において引き起こされた表現を分離し,再分離することを提案する。
  論文  参考訳（メタデータ） (2021-12-16T18:59:47Z)
• TSI: Temporal Saliency Integration for Video Action Recognition [32.18535820790586]
  本稿では,SME(Salient Motion Excitation)モジュールとCTI(Cross-scale Temporal Integration)モジュールを主成分とするTSI(Temporal Saliency Integration)ブロックを提案する。 SMEは、局所的な動きモデリングを通して、動きに敏感な領域を強調することを目的としている。 CTIは、それぞれ別々の1D畳み込みの群を通じて、マルチスケールの時間的モデリングを実行するように設計されている。
  論文  参考訳（メタデータ） (2021-06-02T11:43:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。