論文の概要: CrowdMoGen: Zero-Shot Text-Driven Collective Motion Generation

• arxiv url: http://arxiv.org/abs/2407.06188v1
• Date: Mon, 8 Jul 2024 17:59:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 14:30:11.015191
• Title: CrowdMoGen: Zero-Shot Text-Driven Collective Motion Generation
• Title（参考訳）: CrowdMoGen: ゼロショットテキスト駆動の集合モーション生成
• Authors: Xinying Guo, Mingyuan Zhang, Haozhe Xie, Chenyang Gu, Ziwei Liu,
• Abstract要約: 群衆運動生成は、アニメーションやゲームなどのエンターテイメント産業や、都市シミュレーションや計画といった戦略的分野において不可欠である。 このフレームワークはLarge Language Model(LLM)のパワーを利用して、集合的なインテリジェンスをモーション生成フレームワークに組み込む。 本フレームワークは,(1)特定のシーン状況に応じた動きや動特性の調整を学習する群集シーンプランナ,(2)必要な集合運動を効率的に合成する集合モーションジェネレータの2つの重要な構成要素から構成される。
• 参考スコア（独自算出の注目度）: 44.9991846328409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Crowd Motion Generation is essential in entertainment industries such as animation and games as well as in strategic fields like urban simulation and planning. This new task requires an intricate integration of control and generation to realistically synthesize crowd dynamics under specific spatial and semantic constraints, whose challenges are yet to be fully explored. On the one hand, existing human motion generation models typically focus on individual behaviors, neglecting the complexities of collective behaviors. On the other hand, recent methods for multi-person motion generation depend heavily on pre-defined scenarios and are limited to a fixed, small number of inter-person interactions, thus hampering their practicality. To overcome these challenges, we introduce CrowdMoGen, a zero-shot text-driven framework that harnesses the power of Large Language Model (LLM) to incorporate the collective intelligence into the motion generation framework as guidance, thereby enabling generalizable planning and generation of crowd motions without paired training data. Our framework consists of two key components: 1) Crowd Scene Planner that learns to coordinate motions and dynamics according to specific scene contexts or introduced perturbations, and 2) Collective Motion Generator that efficiently synthesizes the required collective motions based on the holistic plans. Extensive quantitative and qualitative experiments have validated the effectiveness of our framework, which not only fills a critical gap by providing scalable and generalizable solutions for Crowd Motion Generation task but also achieves high levels of realism and flexibility.
• Abstract（参考訳）: 群衆運動生成は、アニメーションやゲームなどのエンターテイメント産業や、都市シミュレーションや計画といった戦略的分野において不可欠である。 この新しいタスクでは、特定の空間的制約と意味的制約の下で群衆のダイナミクスを現実的に合成するために、制御と生成の複雑な統合が必要である。 一方、既存の人間の運動生成モデルは、一般的に個人の行動に焦点を当て、集団行動の複雑さを無視する。 一方、近年の多対人動作生成法は、事前定義されたシナリオに大きく依存しており、固定された少数の対人インタラクションに限られており、その実用性を妨げている。 これらの課題を克服するために,我々は,大規模言語モデル(LLM)の力を活用したゼロショットテキスト駆動フレームワークであるCrowdMoGenを紹介した。 私たちのフレームワークは2つの重要なコンポーネントで構成されています。 1)特定の場面の状況に応じた動きや動きの調整や、導入された摂動を学習する群集シーンプランナー 2 集合運動発生装置は、全体計画に基づいて、必要な集合運動を効率的に合成する。 集団運動生成タスクにスケーラブルで一般化可能なソリューションを提供することによって,重要なギャップを埋めるだけでなく,高いレベルの現実性と柔軟性を実現する。

関連論文リスト

• Programmable Motion Generation for Open-Set Motion Control Tasks [51.73738359209987]
  我々は新しいパラダイム、プログラム可能なモーション生成を導入する。 このパラダイムでは、任意の運動制御タスクは原子制約の組み合わせに分解される。 これらの制約は、運動列がそれに付着する程度を定量化するエラー関数にプログラムされる。
  論文  参考訳（メタデータ） (2024-05-29T17:14:55Z)
• FreeMotion: A Unified Framework for Number-free Text-to-Motion Synthesis [65.85686550683806]
  そこで本稿では, 条件付き動作分布を用いて, 単独動作と多人数動作を統一する動き生成手法を提案する。 筆者らの枠組みに基づいて,現在ある一対一動作空間制御手法をシームレスに統合し,多対一動作の正確な制御を実現する。
  論文  参考訳（メタデータ） (2024-05-24T17:57:57Z)
• Learning Generalizable Human Motion Generator with Reinforcement Learning [95.62084727984808]
  テキスト駆動型ヒューマンモーション生成は、コンピュータ支援コンテンツ作成において重要なタスクの1つである。 既存の方法は訓練データ中の特定の動作表現に過度に適合することが多く、一般化する能力を妨げている。 一般化可能なヒューマンモーション生成のための強化学習において,パスとエラーのパラダイムを取り入れた textbfInstructMotion を提案する。
  論文  参考訳（メタデータ） (2024-05-24T13:29:12Z)
• Large Motion Model for Unified Multi-Modal Motion Generation [50.56268006354396]
  Large Motion Model (LMM) は、動き中心のマルチモーダルフレームワークであり、メインストリームのモーション生成タスクをジェネラリストモデルに統合する。 LMMは3つの原則的な側面からこれらの課題に取り組む。
  論文  参考訳（メタデータ） (2024-04-01T17:55:11Z)
• DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
  テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。 我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-04T05:43:48Z)
• SoMoFormer: Social-Aware Motion Transformer for Multi-Person Motion Prediction [10.496276090281825]
  本稿では,ソーシャル・アウェア・モーション・トランスフォーマー(SoMoFormer)を提案する。 SoMoFormerは、変位軌道空間のサブシーケンスから運動特徴を抽出し、各個人に対する局所的およびグローバルなポーズダイナミクスを学習する。 さらに,SoMoFormerに新たなソーシャル・アウェア・アテンション・アテンション・メカニズムを考案し,動的表現をさらに最適化し,相互依存を同時に捉える。
  論文  参考訳（メタデータ） (2022-08-19T08:57:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。