論文の概要: MambaTalk: Efficient Holistic Gesture Synthesis with Selective State Space Models

• arxiv url: http://arxiv.org/abs/2403.09471v3
• Date: Sun, 10 Nov 2024 04:11:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:03:49.710272
• Title: MambaTalk: Efficient Holistic Gesture Synthesis with Selective State Space Models
• Title（参考訳）: MambaTalk: 選択状態空間モデルを用いた効率的なホロスティックジェスチャー合成
• Authors: Zunnan Xu, Yukang Lin, Haonan Han, Sicheng Yang, Ronghui Li, Yachao Zhang, Xiu Li,
• Abstract要約: マルチモーダル統合によるジェスチャーの多様性とリズムを向上させるMambaTalkを紹介する。 我々の手法は最先端のモデルの性能と一致するか超えている。
• 参考スコア（独自算出の注目度）: 22.044020889631188
• License:
• Abstract: Gesture synthesis is a vital realm of human-computer interaction, with wide-ranging applications across various fields like film, robotics, and virtual reality. Recent advancements have utilized the diffusion model and attention mechanisms to improve gesture synthesis. However, due to the high computational complexity of these techniques, generating long and diverse sequences with low latency remains a challenge. We explore the potential of state space models (SSMs) to address the challenge, implementing a two-stage modeling strategy with discrete motion priors to enhance the quality of gestures. Leveraging the foundational Mamba block, we introduce MambaTalk, enhancing gesture diversity and rhythm through multimodal integration. Extensive experiments demonstrate that our method matches or exceeds the performance of state-of-the-art models.
• Abstract（参考訳）: ジェスチャー合成は人間とコンピュータの相互作用において重要な領域であり、映画、ロボティクス、バーチャルリアリティーといった様々な分野に幅広く応用されている。 近年の進歩はジェスチャ合成を改善するために拡散モデルと注意機構を活用している。 しかし、これらの手法の計算複雑性が高いため、低レイテンシで長く多様なシーケンスを生成することは依然として困難である。 この課題に対処するための状態空間モデル(SSM)の可能性を探り、ジェスチャーの質を高めるために、離散的な動きを持つ2段階のモデリング戦略を実装した。 基礎となるMambaブロックを活用し,MambaTalkを導入し,マルチモーダル統合によるジェスチャーの多様性とリズムを向上させる。 大規模な実験により、我々の手法は最先端モデルの性能と一致しているか、上回っていることが示された。

関連論文リスト

• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• DiffuseBot: Breeding Soft Robots With Physics-Augmented Generative Diffusion Models [102.13968267347553]
  本稿では,様々なタスクにおいて優れたソフトロボット形態を生成する物理拡張拡散モデルであるDiffuseBotを提案する。 我々は、その能力とともに、シミュレーションされた、そして製造された様々なロボットを紹介します。
  論文  参考訳（メタデータ） (2023-11-28T18:58:48Z)
• A Unified Framework for Multimodal, Multi-Part Human Motion Synthesis [17.45562922442149]
  我々は,マルチモーダル(テキスト,音楽,音声)とマルチパート(手,胴体)のヒューマンモーション生成を融合する,密着的でスケーラブルなアプローチを導入する。 本手法は,制御信号のモダリティに基づく特殊コードブックから,多モード動作生成課題をトークン予測タスクとして表現する。
  論文  参考訳（メタデータ） (2023-11-28T04:13:49Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• Persistent-Transient Duality: A Multi-mechanism Approach for Modeling Human-Object Interaction [58.67761673662716]
  人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。 人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。 本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
  論文  参考訳（メタデータ） (2023-07-24T12:21:33Z)
• Stochastic Multi-Person 3D Motion Forecasting [21.915057426589744]
  我々は、人間の動き予測に先立つ作業において、無視された現実世界の複雑さに対処する。 私たちのフレームワークは一般的なもので、異なる生成モデルでインスタンス化します。 このアプローチは多種多人数の予測を多種多様な精度で生成し,技術水準を著しく上回っている。
  論文  参考訳（メタデータ） (2023-06-08T17:59:09Z)
• Interactive Character Control with Auto-Regressive Motion Diffusion Models [18.727066177880708]
  リアルタイム動作合成のためのA-MDM(Auto-Regressive Motion Diffusion Model)を提案する。 我々の条件拡散モデルは初期ポーズを入力とし、前者のフレームに条件付けられた連続した動きフレームを自動回帰的に生成する。 本稿では,タスク指向サンプリング,インペインティング,階層的強化学習など,対話型制御をA-MDMに組み込む一連の手法を紹介する。
  論文  参考訳（メタデータ） (2023-06-01T07:48:34Z)
• Unifying Human Motion Synthesis and Style Transfer with Denoising Diffusion Probabilistic Models [9.789705536694665]
  デジタル人間のためのリアルな動きを生成することは、コンピュータアニメーションやゲームの中核だが挑戦的な部分である。 スタイル付きモーション合成のためのデノナイズ拡散モデル解を提案する。 局所的な誘導のために人の動きの側面を戦略的に生成する拡散モデルのマルチタスクアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2022-12-16T15:15:34Z)
• Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
  本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。 我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-12-08T03:07:00Z)
• MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
  多様な動きを合成する無条件生成モデルであるMoDiを提案する。 我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。 データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T09:06:25Z)
• Dynamic Future Net: Diversified Human Motion Generation [31.987602940970888]
  人間のモーションモデリングはコンピュータグラフィックス、視覚、仮想現実など多くの分野で重要である。 我々は,人間の運動力学の本質的な運動性に着目した新しい深層学習モデルであるDynamic Future Netを提案する。 我々のモデルでは、任意の時間で多数の高品質な動きを生成でき、空間と時間の両方の変動を視覚的に解析することができる。
  論文  参考訳（メタデータ） (2020-08-25T02:31:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。