論文の概要: Motion Keyframe Interpolation for Any Human Skeleton via Temporally Consistent Point Cloud Sampling and Reconstruction
- arxiv url: http://arxiv.org/abs/2405.07444v1
- Date: Mon, 13 May 2024 03:03:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 14:54:35.763108
- Title: Motion Keyframe Interpolation for Any Human Skeleton via Temporally Consistent Point Cloud Sampling and Reconstruction
- Title（参考訳）: 時間的に一貫した点群サンプリングと再構成による人骨格の運動鍵盤補間
- Authors: Clinton Mo, Kun Hu, Chengjiang Long, Dong Yuan, Zhiyong Wang,
- Abstract要約: Point Cloud-based Motion Representation (PC-MRL)は、運動学習のための骨格間の相互互換性を実現するための教師なしのアプローチである。
PC-MRLは、時間点雲サンプリングを用いた骨格難読化戦略と、点雲からの教師なし骨格復元法からなる。
我々は、制御されていないクラウド・ツー・骨格運動プロセスに必要な制限を克服するために、第1フレームオフセット準位(FOQ)とRPA(Rest Pose Augmentation)戦略を提案する。
- 参考スコア（独自算出の注目度）: 37.796387171573734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the character animation field, modern supervised keyframe interpolation models have demonstrated exceptional performance in constructing natural human motions from sparse pose definitions. As supervised models, large motion datasets are necessary to facilitate the learning process; however, since motion is represented with fixed hierarchical skeletons, such datasets are incompatible for skeletons outside the datasets' native configurations. Consequently, the expected availability of a motion dataset for desired skeletons severely hinders the feasibility of learned interpolation in practice. To combat this limitation, we propose Point Cloud-based Motion Representation Learning (PC-MRL), an unsupervised approach to enabling cross-compatibility between skeletons for motion interpolation learning. PC-MRL consists of a skeleton obfuscation strategy using temporal point cloud sampling, and an unsupervised skeleton reconstruction method from point clouds. We devise a temporal point-wise K-nearest neighbors loss for unsupervised learning. Moreover, we propose First-frame Offset Quaternion (FOQ) and Rest Pose Augmentation (RPA) strategies to overcome necessary limitations of our unsupervised point cloud-to-skeletal motion process. Comprehensive experiments demonstrate the effectiveness of PC-MRL in motion interpolation for desired skeletons without supervision from native datasets.
- Abstract（参考訳）: キャラクターアニメーションの分野では、現代の教師付きキーフレーム補間モデルは、スパースポーズ定義から自然な人間の動きを構築する際、例外的な性能を示した。
教師付きモデルとして、学習プロセスを促進するためには大きな動きデータセットが必要であるが、動きは固定された階層的な骨格で表現されているため、そのようなデータセットはデータセットのネイティブな構成外の骨格と互換性がない。
その結果、所望の骨格に対する運動データセットの利用可能性は、実際に学習された補間が実現可能であることを著しく妨げている。
この制限に対処するため,運動補間学習のための骨格間の相互互換性を実現するための教師なしアプローチとして,ポイントクラウドを用いた運動表現学習(PC-MRL)を提案する。
PC-MRLは、時間点雲サンプリングを用いた骨格難読化戦略と、点雲からの教師なし骨格復元法からなる。
教師なし学習のための時間的ポイントワイドKアネレスの損失を考案する。
さらに,教師なしのクラウド・ツー・骨格運動プロセスに必要な制限を克服するために,第1フレームオフセット四元数(FOQ)とRPA(Rest Pose Augmentation)戦略を提案する。
包括的実験は、ネイティブデータセットの監督なしに、所望の骨格に対する運動補間におけるPC-MRLの有効性を示す。
関連論文リスト
- Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳（メタデータ） (2024-01-01T12:08:35Z) - Unveiling the Hidden Realm: Self-supervised Skeleton-based Action
Recognition in Occluded Environments [41.664437160034176]
そこで本研究では,ロボットの閉塞に対処する能力を持つ簡易かつ効果的な手法を提案する。
まず、隠蔽されたスケルトン配列を用いて事前トレーニングを行い、次にk平均クラスタリング(KMeans)を用いてシーケンス埋め込みを行い、意味的に類似したサンプルをグループ化する。
次に、K-nearest-neighbor(KNN)を用いて、最も近いサンプル隣人に基づいて、行方不明の骨格データを埋める。
論文 参考訳（メタデータ） (2023-09-21T12:51:11Z) - Shuffled Autoregression For Motion Interpolation [53.61556200049156]
この作業は、モーションタスクのためのディープラーニングソリューションを提供することを目的としている。
本稿では,自己回帰を任意の(シャッフルされた)順序で生成するために拡張する,emphShuffled AutoRegressionと呼ばれる新しいフレームワークを提案する。
また,3つのステージを終端から終端の時空間運動変換器に組み込んだ依存グラフの構築手法を提案する。
論文 参考訳（メタデータ） (2023-06-10T07:14:59Z) - Self-supervised Action Representation Learning from Partial
Spatio-Temporal Skeleton Sequences [29.376328807860993]
本研究では,異なる骨格関節とビデオフレームの局所的関係を利用した部分的時空間学習(PSTL)フレームワークを提案する。
提案手法は, NTURGB+D 60, NTURGBMM+D 120, PKU-Dのダウンストリームタスクにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2023-02-17T17:35:05Z) - Bridging the Gap to Real-World Object-Centric Learning [66.55867830853803]
自己教師付き方法で訓練されたモデルから特徴を再構成することは、完全に教師なしの方法でオブジェクト中心表現が生じるための十分な訓練信号であることを示す。
我々のアプローチであるDINOSAURは、シミュレーションデータ上で既存のオブジェクト中心学習モデルよりも大幅に優れています。
論文 参考訳（メタデータ） (2022-09-29T15:24:47Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳（メタデータ） (2022-07-17T07:05:39Z) - Unsupervised Human Action Recognition with Skeletal Graph Laplacian and
Self-Supervised Viewpoints Invariance [20.748083855677816]
本稿では,グラフラプラシア正規化を用いた畳み込みオートエンコーダを用いた新しいアーキテクチャを提案する。
我々のアプローチは、カメラビュー間の一般化を保証する自己教師付き勾配逆層を含むことにより、視点の変化に対して堅牢である。
論文 参考訳（メタデータ） (2022-04-21T17:47:42Z) - UNIK: A Unified Framework for Real-world Skeleton-based Action
Recognition [11.81043814295441]
UNIKは、データセットをまたいで一般化できる新しい骨格に基づく行動認識手法である。
実世界のビデオにおける行動認識のクロスドメイン一般化可能性について検討するため,提案したUNIKと同様に最先端のアプローチを再評価する。
その結果,提案したUNIKは,Poseticsを事前学習した上で,4つのターゲットアクション分類データセットに転送した場合に,最先端の処理性能を向上することがわかった。
論文 参考訳（メタデータ） (2021-07-19T02:00:28Z) - Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for
Online Collision Avoidance [95.86944752753564]
本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。
我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。
本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
論文 参考訳（メタデータ） (2020-07-28T07:34:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。