論文の概要: ReinDiffuse: Crafting Physically Plausible Motions with Reinforced Diffusion Model
- arxiv url: http://arxiv.org/abs/2410.07296v1
- Date: Wed, 09 Oct 2024 16:24:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-11 14:32:18.348834
- Title: ReinDiffuse: Crafting Physically Plausible Motions with Reinforced Diffusion Model
- Title(参考訳): ReinDiffuse: 強化拡散モデルによる物理的に可塑性な運動の創成
- Authors: Gaoge Han, Mingjiang Liang, Jinglei Tang, Yongkang Cheng, Wei Liu, Shaoli Huang,
- Abstract要約: 本稿では、強化学習と運動拡散モデルを組み合わせることで、物理的に信頼できる人間の動きを生成するEmphReinDiffuseを提案する。
動作拡散モデルを用いてパラメータ化された動作分布を出力し、強化学習パラダイムに適合させる。
我々のアプローチは、HumanML3DとKIT-MLという2つの主要なデータセット上で、既存の最先端モデルよりも優れています。
- 参考スコア(独自算出の注目度): 9.525806425270428
- License:
- Abstract: Generating human motion from textual descriptions is a challenging task. Existing methods either struggle with physical credibility or are limited by the complexities of physics simulations. In this paper, we present \emph{ReinDiffuse} that combines reinforcement learning with motion diffusion model to generate physically credible human motions that align with textual descriptions. Our method adapts Motion Diffusion Model to output a parameterized distribution of actions, making them compatible with reinforcement learning paradigms. We employ reinforcement learning with the objective of maximizing physically plausible rewards to optimize motion generation for physical fidelity. Our approach outperforms existing state-of-the-art models on two major datasets, HumanML3D and KIT-ML, achieving significant improvements in physical plausibility and motion quality. Project: \url{https://reindiffuse.github.io/}
- Abstract(参考訳): 文章の記述から人間の動きを生成することは難しい課題である。
既存の方法は物理的信頼性に苦しむか、物理シミュレーションの複雑さによって制限される。
本稿では、強化学習と運動拡散モデルを組み合わせることで、テキスト記述と整合した物理的に信頼できる人間の動作を生成する「emph{ReinDiffuse}」を提案する。
動作拡散モデルを用いてパラメータ化された動作分布を出力し、強化学習パラダイムに適合させる。
我々は,身体的忠実度に対する運動生成を最適化するために,身体的可算報酬の最大化を目的とした強化学習を採用する。
提案手法は,HumanML3DとKIT-MLの2つの主要なデータセットにおける既存の最先端モデルよりも優れており,身体的妥当性と運動品質の大幅な向上を実現している。
プロジェクト: \url{https://reindiffuse.github.io/}
関連論文リスト
- Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。
提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
論文 参考訳(メタデータ) (2023-12-14T12:57:35Z) - DiffuseBot: Breeding Soft Robots With Physics-Augmented Generative
Diffusion Models [102.13968267347553]
本稿では,様々なタスクにおいて優れたソフトロボット形態を生成する物理拡張拡散モデルであるDiffuseBotを提案する。
我々は、その能力とともに、シミュレーションされた、そして製造された様々なロボットを紹介します。
論文 参考訳(メタデータ) (2023-11-28T18:58:48Z) - Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。
既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。
我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-29T07:15:57Z) - DexDeform: Dexterous Deformable Object Manipulation with Human
Demonstrations and Differentiable Physics [97.75188532559952]
人間の実演から巧妙な操作スキルを抽象化する原理的枠組みを提案する。
次に、イマジネーションにおけるアクション抽象化を計画する上で、デモを使ってスキルモデルをトレーニングします。
提案手法の有効性を評価するために,6つの難解な変形可能なオブジェクト操作タスクの組を導入する。
論文 参考訳(メタデータ) (2023-03-27T17:59:49Z) - PhysDiff: Physics-Guided Human Motion Diffusion Model [101.1823574561535]
既存の運動拡散モデルは、拡散過程における物理学の法則をほとんど無視する。
PhysDiffは拡散過程に物理的制約を組み込む。
提案手法は,最先端の動作品質を実現し,身体的可視性を大幅に向上させる。
論文 参考訳(メタデータ) (2022-12-05T18:59:52Z) - MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。
複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。
体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
論文 参考訳(メタデータ) (2022-08-31T17:58:54Z) - Differentiable Dynamics for Articulated 3d Human Motion Reconstruction [29.683633237503116]
DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。
モノクロ映像から物理的に可視な3次元動作を正確に再現できることを実証し,本モデルの有効性を検証した。
論文 参考訳(メタデータ) (2022-05-24T17:58:37Z) - Physics-based Human Motion Estimation and Synthesis from Videos [0.0]
単眼のRGBビデオから直接、身体的に可視な人間の動きの生成モデルを訓練するための枠組みを提案する。
提案手法のコアとなるのは,不完全な画像に基づくポーズ推定を補正する新しい最適化式である。
その結果,我々の身体的補正動作は,ポーズ推定における先行作業よりも有意に優れていた。
論文 参考訳(メタデータ) (2021-09-21T01:57:54Z) - Physics-Integrated Variational Autoencoders for Robust and Interpretable
Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。
本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。
合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文 参考訳(メタデータ) (2021-02-25T20:28:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。