論文の概要: Skinned Motion Retargeting with Dense Geometric Interaction Perception

• arxiv url: http://arxiv.org/abs/2410.20986v1
• Date: Mon, 28 Oct 2024 13:04:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:21:20.318818
• Title: Skinned Motion Retargeting with Dense Geometric Interaction Perception
• Title（参考訳）: 密度幾何学的相互作用の知覚による皮膚運動のリターゲティング
• Authors: Zijie Ye, Jia-Wei Liu, Jia Jia, Shikun Sun, Mike Zheng Shou,
• Abstract要約: 既存のアプローチはしばしば骨格運動後の身体矯正段階を見落としている。 この結果、幾何学的相互作用と幾何補正の対立が生じ、ジッタリー運動が生じる。 動きの密接な相互作用を直接モデル化するMeshRetrationを導入する。
• 参考スコア（独自算出の注目度）: 19.788066070569734
• License:
• Abstract: Capturing and maintaining geometric interactions among different body parts is crucial for successful motion retargeting in skinned characters. Existing approaches often overlook body geometries or add a geometry correction stage after skeletal motion retargeting. This results in conflicts between skeleton interaction and geometry correction, leading to issues such as jittery, interpenetration, and contact mismatches. To address these challenges, we introduce a new retargeting framework, MeshRet, which directly models the dense geometric interactions in motion retargeting. Initially, we establish dense mesh correspondences between characters using semantically consistent sensors (SCS), effective across diverse mesh topologies. Subsequently, we develop a novel spatio-temporal representation called the dense mesh interaction (DMI) field. This field, a collection of interacting SCS feature vectors, skillfully captures both contact and non-contact interactions between body geometries. By aligning the DMI field during retargeting, MeshRet not only preserves motion semantics but also prevents self-interpenetration and ensures contact preservation. Extensive experiments on the public Mixamo dataset and our newly-collected ScanRet dataset demonstrate that MeshRet achieves state-of-the-art performance. Code available at https://github.com/abcyzj/MeshRet.
• Abstract（参考訳）: 異なる身体部位間の幾何学的相互作用の捕捉と維持は、皮膚文字の運動再ターゲティングの成功に不可欠である。 既存のアプローチは、しばしば身体のジオメトリーを見落とし、骨格運動の再ターゲティング後に幾何補正段階を追加する。 この結果、骨格の相互作用と幾何補正の対立が生じ、ジッタリー、相互接続、接触ミスマッチといった問題に繋がる。 これらの課題に対処するため、我々は新しいリターゲティングフレームワークであるMeshRetを導入し、このフレームワークはモーションリターゲティングにおける密度の高い幾何学的相互作用を直接モデル化する。 まず,意味整合性センサ (SCS) を用いた文字間の密接なメッシュ対応を確立し,様々なメッシュトポロジに有効である。 その後,高密度メッシュ相互作用(DMI)場と呼ばれる新しい時空間表現を開発した。 相互作用するSCS特徴ベクトルの集まりであるこの分野は、身体の地形間の接触と非接触の相互作用を巧みに捉えている。 再ターゲティング中にDMIフィールドをアライメントすることで、MeshRetは動きのセマンティクスを保存するだけでなく、自己相互接続を防止し、接触保存を確実にする。 パブリックなMixamoデータセットと新たにコンパイルされたScanRetデータセットに関する大規模な実験は、MeshRetが最先端のパフォーマンスを実現していることを示している。 コードはhttps://github.com/abcyzj/MeshRet.comで公開されている。

関連論文リスト

• GEARS: Local Geometry-aware Hand-object Interaction Synthesis [38.75942505771009]
  本研究では, 相互作用領域近傍の局所物体形状を推定するための, 結合中心型センサを提案する。 学習の複雑さを軽減するための重要なステップとして、グローバルフレームからテンプレートハンドフレームにポイントを変換し、共有モジュールを使用して各関節のセンサ特徴を処理する。 これに続いて、異なる次元の関節間の相関を捉えることを目的とした知覚時間変換ネットワークが提供される。
  論文  参考訳（メタデータ） (2024-04-02T09:18:52Z)
• RISeg: Robot Interactive Object Segmentation via Body Frame-Invariant Features [6.358423536732677]
  本稿では,ロボットインタラクションとデザインされたボディーフレーム不変機能を用いて,不正確なセグメンテーションを補正する新しい手法を提案する。 オブジェクト分割精度を平均80.7%とすることで、散らばったシーンを正確にセグメント化するための対話型知覚パイプラインの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-04T05:03:24Z)
• GraMMaR: Ground-aware Motion Model for 3D Human Motion Reconstruction [61.833152949826946]
  本研究では,GraMMaRという3次元人体動作再構成のための新しいグラウンド・アウェア・モーション・モデルを提案する。 GraMMaRは、動きシーケンスの各時間ステップにおいて、ポーズにおける遷移の分布と、各関節面と接地面の間の相互作用を学習する。 運動と地面への距離変化との整合性を明確に促進するように訓練されている。
  論文  参考訳（メタデータ） (2023-06-29T07:22:20Z)
• SINCERE: Sequential Interaction Networks representation learning on Co-Evolving RiEmannian manifolds [9.710773626459718]
  SINCEREは、共進化リーマン多様体上の逐次相互作用ネットワークを表す新しい方法である。 ユーザーとアイテムをそれぞれの空間に埋め込んだ軌跡を考慮に入れ、時間とともに曲率がどのように変化するかという空間の進化を強調する。 いくつかの実世界のデータセットの実験は、最先端のシーケンシャル相互作用予測法に対してSINCEREの有望な性能を示す。
  論文  参考訳（メタデータ） (2023-05-06T00:38:29Z)
• Skinned Motion Retargeting with Residual Perception of Motion Semantics & Geometry [34.53794943807786]
  骨格と形状の双方のソース・ターゲットの違いを考慮しない限り、良好な動きは得られない。 本稿では,2つのニューラルネットワークモジュールに依存するResidual RETargeting Network (R2ET) 構造を提案する。 公開データセットの実験 Mixamoは、我々のR2ETが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2023-03-15T14:41:26Z)
• Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
  顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。 具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。 提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T02:12:30Z)
• Contact-Aware Retargeting of Skinned Motion [49.71236739408685]
  本稿では,自己接触を保存し,相互接続を防止する動作推定手法を提案する。 入力運動における自己接触と接地を同定し、出力骨格に適用するための動作を最適化する。 実験では,従来の手法を定量的に上回り,近年の成果よりも高い品質で再ターゲットされた動きを評価できるユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-09-15T17:05:02Z)
• Pose And Joint-Aware Action Recognition [87.4780883700755]
  本稿では,まず,共有動作エンコーダを用いて各関節の動作特徴を別々に抽出する,関節に基づく動作認識の新しいモデルを提案する。 私たちのジョイントセレクタモジュールは、そのタスクの最も識別性の高いジョイントを選択するために、ジョイント情報を再重み付けします。 JHMDB, HMDB, Charades, AVA アクション認識データセットにおける最先端のジョイントベースアプローチに対する大きな改善点を示す。
  論文  参考訳（メタデータ） (2020-10-16T04:43:34Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)
• Skeleton-Aware Networks for Deep Motion Retargeting [83.65593033474384]
  骨格間のデータ駆動動作のための新しいディープラーニングフレームワークを提案する。 我々の手法は、トレーニングセットの運動間の明確なペアリングを必要とせずに、再ターゲティングの仕方を学ぶ。
  論文  参考訳（メタデータ） (2020-05-12T12:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。