論文の概要: Explore 3D Dance Generation via Reward Model from Automatically-Ranked
Demonstrations
- arxiv url: http://arxiv.org/abs/2312.11442v1
- Date: Mon, 18 Dec 2023 18:45:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 18:56:13.956849
- Title: Explore 3D Dance Generation via Reward Model from Automatically-Ranked
Demonstrations
- Title(参考訳): 自動誘導デモによるリワードモデルによる3次元ダンス生成の探索
- Authors: Zilin Wang, Haolin Zhuang, Lu Li, Yinmin Zhang, Junjie Zhong, Jun
Chen, Yu Yang, Boshi Tang, Zhiyong Wu
- Abstract要約: 本稿では,既存の音楽条件の3Dダンス生成モデルにおいて,探索的3Dダンス生成フレームワークであるE3D2を提案する。
E3D2フレームワークには、自動的にランク付けされたダンスのデモンストレーションからトレーニングされた報酬モデルが含まれており、強化学習プロセスのガイドとなる。
- 参考スコア(独自算出の注目度): 18.56485266484622
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents an Exploratory 3D Dance generation framework, E3D2,
designed to address the exploration capability deficiency in existing
music-conditioned 3D dance generation models. Current models often generate
monotonous and simplistic dance sequences that misalign with human preferences
because they lack exploration capabilities. The E3D2 framework involves a
reward model trained from automatically-ranked dance demonstrations, which then
guides the reinforcement learning process. This approach encourages the agent
to explore and generate high quality and diverse dance movement sequences. The
soundness of the reward model is both theoretically and experimentally
validated. Empirical experiments demonstrate the effectiveness of E3D2 on the
AIST++ dataset. Project Page: https://sites.google.com/view/e3d2.
- Abstract(参考訳): 本稿では,既存の音楽条件の3Dダンス生成モデルにおいて,探索的3Dダンス生成フレームワークであるE3D2を提案する。
現在のモデルは、探索能力に欠けるため人間の好みを誤認する単調で簡素なダンスシーケンスを生成することが多い。
e3d2フレームワークには、自動ランク付けされたダンスデモからトレーニングされた報酬モデルが含まれており、強化学習プロセスをガイドする。
このアプローチは、エージェントが高品質で多様なダンス運動シーケンスを探索し、生成することを奨励する。
報酬モデルの健全性は理論的および実験的に検証される。
実証実験は、AIST++データセットにおけるE3D2の有効性を実証している。
プロジェクトページ: https://sites.google.com/view/e3d2。
関連論文リスト
- Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-03-14T07:39:59Z) - GenH2R: Learning Generalizable Human-to-Robot Handover via Scalable
Simulation, Demonstration, and Imitation [33.592902750787424]
GenH2Rは、一般化可能なビジョンベースのヒューマン・トゥ・ロボット(H2R)ハンドオーバスキルを学ぶためのフレームワークである。
我々は、H2Rハンドオーバを包括的解を用いて大規模に学習することで、そのような一般化可能性を得る。
大規模3次元モデルレポジトリ、デクスタラスグリップ生成方法、曲線ベースの3次元アニメーションを活用している。
論文 参考訳(メタデータ) (2024-01-01T18:20:43Z) - MAS: Multi-view Ancestral Sampling for 3D motion generation using 2D
diffusion [63.25601065792482]
本稿では3次元モーション生成手法であるマルチビューアンセストラルサンプリング(MAS)を紹介する。
MASは、同じ3Dモーションの異なるビューを表す複数の2Dモーションシーケンスを同時に認知することで機能する。
プロバスケットボールの操り方を描いたビデオから得られた2DポーズデータをMASで実証する。
論文 参考訳(メタデータ) (2023-10-23T09:05:18Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal
Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳(メタデータ) (2023-10-12T17:59:57Z) - AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。
本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。
提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
論文 参考訳(メタデータ) (2023-05-03T17:56:24Z) - Unsupervised 3D Pose Estimation for Hierarchical Dance Video Recognition [13.289339907084424]
階層型ダンスビデオ認識フレームワーク(HDVR)を提案する。
HDVRは2Dポーズシーケンスを推定し、ダンサーを追跡し、同時に対応する3Dポーズと3Dから2Dイメージングパラメータを推定する。
推定した3Dポーズシーケンスから、HDVRは身体部分の動きを抽出し、ダンスジャンルから抽出する。
論文 参考訳(メタデータ) (2021-09-19T16:59:37Z) - Spatio-temporal Self-Supervised Representation Learning for 3D Point
Clouds [96.9027094562957]
ラベルのないタスクから学習できる時間的表現学習フレームワークを導入する。
幼児が野生の視覚的データからどのように学ぶかに触発され、3Dデータから派生した豊かな手がかりを探索する。
STRLは3Dポイントクラウドシーケンスから2つの時間的関連フレームを入力として、空間データ拡張で変換し、不変表現を自己指導的に学習する。
論文 参考訳(メタデータ) (2021-09-01T04:17:11Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳(メタデータ) (2021-07-08T17:49:37Z) - DanceFormer: Music Conditioned 3D Dance Generation with Parametric
Motion Transformer [23.51701359698245]
本稿では、2段階のプロセス, ie, キーポーズ生成, そしてパラメトリックな動き曲線の予測によってそれを再構成する。
本稿では,経験的アニメーターによって正確にラベル付けされた大規模な音楽条件付き3DダンスデータセットPhantomDanceを提案する。
実験により、提案手法は既存のデータセットで訓練されても、流動的で、演奏的で、音楽にマッチした3Dダンスを生成できることが示されている。
論文 参考訳(メタデータ) (2021-03-18T12:17:38Z) - Learn to Dance with AIST++: Music Conditioned 3D Dance Generation [28.623222697548456]
音楽に基づく3Dダンス生成のためのトランスフォーマーに基づく学習フレームワークを提案する。
また、AISTのマルチビューダンスビデオから再構成した、AIST++と呼ばれる3Dモーションと音楽のペア化データセットを提案する。
論文 参考訳(メタデータ) (2021-01-21T18:59:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。