論文の概要: MotionLLM: Multimodal Motion-Language Learning with Large Language Models

• arxiv url: http://arxiv.org/abs/2405.17013v2
• Date: Tue, 28 May 2024 02:26:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 10:46:21.873645
• Title: MotionLLM: Multimodal Motion-Language Learning with Large Language Models
• Title（参考訳）: MotionLLM:大規模言語モデルを用いたマルチモーダル運動言語学習
• Authors: Qi Wu, Yubo Zhao, Yifan Wang, Yu-Wing Tai, Chi-Keung Tang,
• Abstract要約: 我々は,シングルヒューマン,マルチヒューマンモーション生成およびモーションキャプションを実現するために,MotionLLMを提案する。 具体的には、動作を離散LLM理解可能なトークンにエンコードし、量子化し、その結果、動作トークンとテキストトークンの両方からなる統一語彙が生成される。 我々のアプローチはスケーラブルで柔軟性があり、シングルヒューマンモーションの自動回帰生成によるマルチヒューマンモーション生成を容易に拡張できる。
• 参考スコア（独自算出の注目度）: 69.5875073447454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Multimodal Large Language Models (MM-LLMs) have demonstrated promising potential in terms of generalization and robustness when applied to different modalities. While previous works have already achieved 3D human motion generation using various approaches including language modeling, they mostly % are mostly carefully designed use specialized architecture and are restricted to single-human motion generation. Inspired by the success of MM-LLMs, we propose MotionLLM, a simple and general framework that can achieve single-human, multi-human motion generation, and motion captioning by fine-tuning pre-trained LLMs. Specifically, we encode and quantize motions into discrete LLM-understandable tokens, which results in a unified vocabulary consisting of both motion and text tokens. With only 1--3% parameters of the LLMs trained by using adapters, our single-human motion generation achieves comparable results to those diffusion models and other trained-from-scratch transformer-based models. Additionally, we show that our approach is scalable and flexible, allowing easy extension to multi-human motion generation through autoregressive generation of single-human motions. Project page: https://knoxzhao.github.io/MotionLLM
• Abstract（参考訳）: 近年のMM-LLM(Multimodal Large Language Models)の進歩は,様々なモダリティに適用した場合の一般化やロバスト性において有望な可能性を示している。 従来の研究は言語モデリングを含む様々な手法で3次元のモーション生成を達成しているが、多くは慎重に設計されており、単一のモーション生成に限定されている。 MM-LLMsの成功にインスパイアされたMotionLLMは、単人・多人動作生成と、微調整事前学習によるモーションキャプションを実現するための、シンプルで汎用的なフレームワークである。 具体的には、動作を離散LLM理解可能なトークンにエンコードし、量子化し、その結果、動作トークンとテキストトークンの両方からなる統一語彙が生成される。 アダプタを用いてトレーニングしたLSMのパラメータは1-3%に過ぎず、我々の単一人間のモーション生成は、これらの拡散モデルや他の訓練されたスクラッチトランスフォーマーベースモデルに匹敵する結果が得られる。 さらに,本手法はスケーラブルで柔軟性があり,単動作の自動回帰生成による多動運動生成を容易に拡張できることが示唆された。 プロジェクトページ:https://knoxzhao.github.io/MotionLLM

関連論文リスト

• MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding [76.30210465222218]
  MotionGPT-2は、MLMLM(Large Motion-Language Model)である。 LLM(Large Language Models)によるマルチモーダル制御をサポートしている。 難易度の高い3次元全体運動生成タスクに高い適応性を持つ。
  論文  参考訳（メタデータ） (2024-10-29T05:25:34Z)
• Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes [83.55301458112672]
  Sitcom-Crafterは3D空間における人間のモーション生成システムである。 機能生成モジュールの中心は、我々の新しい3Dシーン対応ヒューマン・ヒューマン・インタラクションモジュールである。 拡張モジュールは、コマンド生成のためのプロット理解、異なるモーションタイプのシームレスな統合のためのモーション同期を含む。
  論文  参考訳（メタデータ） (2024-10-14T17:56:19Z)
• MotionChain: Conversational Motion Controllers via Multimodal Prompts [25.181069337771127]
  我々は,マルチモーダルプロンプトによる連続的,長期的人間の動作を生成する対話型ヒューマンモーションコントローラであるMotionChainを紹介する。 大規模言語、視覚言語、視覚運動データを活用することで、MotionChainは、マルチターン会話で各命令を理解し、それに続く人間の動きを生成する。
  論文  参考訳（メタデータ） (2024-04-02T07:09:29Z)
• Move as You Say, Interact as You Can: Language-guided Human Motion Generation with Scene Affordance [48.986552871497]
  本稿では,シーンアベイランスを中間表現として活用する新しい2段階フレームワークを提案する。 シーンアベイランスマップを活用することで,マルチモーダルな条件下での人間の動きを再現する難しさを克服する。 我々のアプローチは、HumanML3DやHUMANISEなど、確立されたベンチマークのベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-03-26T18:41:07Z)
• MotionGPT: Human Motion as a Foreign Language [47.21648303282788]
  人間の動きは人間の言語に似た意味的な結合を示し、しばしば身体言語の一種として認識される。 大規模モーションモデルで言語データを融合することにより、動き言語事前学習は、動きに関連したタスクのパフォーマンスを向上させることができる。 我々は,複数の動作関連タスクを処理するために,統一的で汎用的でユーザフレンドリな動作言語モデルであるMotionGPTを提案する。
  論文  参考訳（メタデータ） (2023-06-26T15:53:02Z)
• MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
  MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。 複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。 体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
  論文  参考訳（メタデータ） (2022-08-31T17:58:54Z)
• TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
  テキスト記述から多種多様な人間の動作を生成するという課題に対処する。 本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。 TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T14:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。