論文の概要: AttT2M: Text-Driven Human Motion Generation with Multi-Perspective Attention Mechanism

• arxiv url: http://arxiv.org/abs/2309.00796v1
• Date: Sat, 2 Sep 2023 02:18:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 01:06:32.560687
• Title: AttT2M: Text-Driven Human Motion Generation with Multi-Perspective Attention Mechanism
• Title（参考訳）: AttT2M:マルチパースペクティブアテンション機構を用いたテキスト駆動型ヒューマンモーション生成
• Authors: Chongyang Zhong, Lei Hu, Zihao Zhang, Shihong Xia
• Abstract要約: マルチパースペクティブアテンション機構を持つ2段階手法である textbftT2M を提案する。 本手法は, 定性的, 定量的評価の観点から, 現在の最先端技術よりも優れている。
• 参考スコア（独自算出の注目度）: 24.049207982022214
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Generating 3D human motion based on textual descriptions has been a research focus in recent years. It requires the generated motion to be diverse, natural, and conform to the textual description. Due to the complex spatio-temporal nature of human motion and the difficulty in learning the cross-modal relationship between text and motion, text-driven motion generation is still a challenging problem. To address these issues, we propose \textbf{AttT2M}, a two-stage method with multi-perspective attention mechanism: \textbf{body-part attention} and \textbf{global-local motion-text attention}. The former focuses on the motion embedding perspective, which means introducing a body-part spatio-temporal encoder into VQ-VAE to learn a more expressive discrete latent space. The latter is from the cross-modal perspective, which is used to learn the sentence-level and word-level motion-text cross-modal relationship. The text-driven motion is finally generated with a generative transformer. Extensive experiments conducted on HumanML3D and KIT-ML demonstrate that our method outperforms the current state-of-the-art works in terms of qualitative and quantitative evaluation, and achieve fine-grained synthesis and action2motion. Our code is in https://github.com/ZcyMonkey/AttT2M
• Abstract（参考訳）: 近年,テキスト記述に基づく3次元人間の動作の生成が研究の焦点となっている。 生成した動きは多様で自然であり、文章の記述に従う必要がある。 人間の動作の複雑な時空間的性質と、テキストと動きの相互モーダル関係を学ぶことの難しさから、テキスト駆動モーション生成は依然として困難な問題である。 そこで本稿では,マルチパースペクティブな注意機構を持つ2段階法である \textbf{body-part attention} と \textbf{global-local motion-text attention} を提案する。 前者は、より表現力のある離散潜在空間を学ぶために、VQ-VAEにボディ部分時空間エンコーダを導入することを意味するモーション埋め込みの観点に焦点を当てている。 後者はクロスモーダルの観点から、文レベルと単語レベルのモーションテキストの相互関係を学習するために使用される。 テキスト駆動動作は最終的に生成トランスで生成される。 また,HumanML3DとKIT-MLの総合的な実験により,本手法は定性的,定量的な評価において最先端の作業よりも優れ,微細な合成と動作2動作を実現していることが示された。 私たちのコードはhttps://github.com/ZcyMonkey/AttT2Mにあります

関連論文リスト

• DART: A Diffusion-Based Autoregressive Motion Model for Real-Time Text-Driven Motion Control [12.465927271402442]
  テキスト条件付きヒューマンモーション生成は、自然言語によるユーザインタラクションを可能にする。 DARTは、リアルタイムテキスト駆動モーション制御のための拡散型自動回帰モーションプリミティブモデルである。 動作合成タスクにおいて,モデルの汎用性と優れた性能を実証し,両手法に有効なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-07T17:58:22Z)
• Generating Human Motion in 3D Scenes from Text Descriptions [60.04976442328767]
  本稿では,人間とシーンのインタラクションをテキストで記述した3次元屋内シーンにおけるヒューマンモーション生成の課題に焦点を当てた。 複雑な問題を2つのより管理可能なサブプロブレムに分解する新しい手法を提案する。 対象オブジェクトの言語グラウンド化には、大きな言語モデルのパワーを活用し、モーション生成には、オブジェクト中心のシーン表現を設計する。
  論文  参考訳（メタデータ） (2024-05-13T14:30:12Z)
• BOTH2Hands: Inferring 3D Hands from Both Text Prompts and Body Dynamics [50.88842027976421]
  両手動作生成のための新しいマルチモーダルデータセットBOTH57Mを提案する。 私たちのデータセットには、人体と手の動きの正確な追跡が含まれています。 また,新しいタスクのための強力なベースライン手法であるBOTH2Handsも提供する。
  論文  参考訳（メタデータ） (2023-12-13T07:30:19Z)
• Story-to-Motion: Synthesizing Infinite and Controllable Character Animation from Long Text [14.473103773197838]
  ストーリー・トゥ・モーション(Story-to-Motion)と呼ばれる新しいタスクは、文字が長いテキスト記述に基づいて特定の動作を行う必要があるときに発生する。 文字制御とテキスト・トゥ・モーションのこれまでの研究は、関連する側面に対処してきたが、包括的解決はいまだ解明されていない。 本稿では,制御可能で無限に長い動きと,入力テキストに整合した軌跡を生成する新しいシステムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T16:22:38Z)
• HumanTOMATO: Text-aligned Whole-body Motion Generation [30.729975715600627]
  本研究は,新しいテキスト駆動型全身運動生成タスクを目標とする。 高品質で多様な、一貫性のある表情、手のジェスチャー、身体の動きを同時に生成することを目的としている。
  論文  参考訳（メタデータ） (2023-10-19T17:59:46Z)
• Fg-T2M: Fine-Grained Text-Driven Human Motion Generation via Diffusion Model [11.873294782380984]
  そこで本研究では,高精度なテキスト記述をサポートする高品質な条件付き人間の動作シーケンスを生成するための微細な手法を提案する。 本手法は,1) テキスト情報を完全に活用するための正確かつ完全な言語特徴を構築する言語構造支援モジュール,2) 多段階推論を実現するために,浅層および深層グラフニューラルネットワークから近隣および総合的な意味論的特徴を学習する文脈認識プログレッシブ推論モジュールの2つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2023-09-12T14:43:47Z)
• DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
  テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。 我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-04T05:43:48Z)
• Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
  テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。 M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。 また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-28T10:40:16Z)
• TM2T: Stochastic and Tokenized Modeling for the Reciprocal Generation of 3D Human Motions and Texts [20.336481832461168]
  視覚と言語との強い結びつきから着想を得た本論文は,テキストから3次元人間のフルボディ運動の生成を探求することを目的とする。 本稿では,離散的かつコンパクトな動き表現である動きトークンを提案する。 私たちのアプローチは柔軟で、text2motionと Motion2textタスクの両方に使用できます。
  論文  参考訳（メタデータ） (2022-07-04T19:52:18Z)
• TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
  テキスト記述から多種多様な人間の動作を生成するという課題に対処する。 本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。 TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T14:53:06Z)
• Synthesis of Compositional Animations from Textual Descriptions [54.85920052559239]
  「どんなに非構造的で複雑で、文を作りながら、それからもっともらしい動きを生成できるのか。」 「映画の脚本から3Dキャラクタをアニメーションしたり、ロボットに何をしたいのかを伝えるだけで動かせるのか?」
  論文  参考訳（メタデータ） (2021-03-26T18:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。