Fugu-MT 論文翻訳(概要): MotionLLM: Understanding Human Behaviors from Human Motions and Videos

論文の概要: MotionLLM: Understanding Human Behaviors from Human Motions and Videos

arxiv url: http://arxiv.org/abs/2405.20340v1
Date: Thu, 30 May 2024 17:59:50 GMT
ステータス: 処理完了
システム内更新日: 2024-05-31 12:50:16.743878
Title: MotionLLM: Understanding Human Behaviors from Human Motions and Videos
Title（参考訳）: MotionLLM:人間の動作とビデオから人間の行動を理解する
Authors: Ling-Hao Chen, Shunlin Lu, Ailing Zeng, Hao Zhang, Benyou Wang, Ruimao Zhang, Lei Zhang,
Abstract要約: この研究は、人間の行動理解の多様性(ビデオと運動のモダリティ)の領域を掘り下げる。我々は、人間の動作理解、キャプション、推論のためのフレームワークであるMotionLLMを紹介する。
参考スコア（独自算出の注目度）: 40.132643319573205
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study delves into the realm of multi-modality (i.e., video and motion modalities) human behavior understanding by leveraging the powerful capabilities of Large Language Models (LLMs). Diverging from recent LLMs designed for video-only or motion-only understanding, we argue that understanding human behavior necessitates joint modeling from both videos and motion sequences (e.g., SMPL sequences) to capture nuanced body part dynamics and semantics effectively. In light of this, we present MotionLLM, a straightforward yet effective framework for human motion understanding, captioning, and reasoning. Specifically, MotionLLM adopts a unified video-motion training strategy that leverages the complementary advantages of existing coarse video-text data and fine-grained motion-text data to glean rich spatial-temporal insights. Furthermore, we collect a substantial dataset, MoVid, comprising diverse videos, motions, captions, and instructions. Additionally, we propose the MoVid-Bench, with carefully manual annotations, for better evaluation of human behavior understanding on video and motion. Extensive experiments show the superiority of MotionLLM in the caption, spatial-temporal comprehension, and reasoning ability.
Abstract（参考訳）: 本研究では,Large Language Models(LLMs)の強力な能力を活用して,マルチモーダル性(ビデオとモーションのモダリティ)という人間の行動理解の領域を掘り下げる。映像のみの理解や動作のみの理解のために設計された近年のLLMとは違い、人間の行動を理解するにはビデオと動作シーケンス(例えばSMPLシーケンス)の両方のジョイントモデリングが必要であり、ニュアンスドボディー部分のダイナミックスやセマンティクスを効果的に捉える必要があると論じている。そこで我々は,人間の動作理解,キャプション,推論のための,単純かつ効果的なフレームワークであるMotionLLMを提案する。特に、MotionLLMは、既存の粗いビデオテキストデータと微粒なモーションテキストデータの相補的な利点を利用して、リッチな時空間的な洞察を得られるような統合されたビデオモーショントレーニング戦略を採用している。さらに、さまざまなビデオ、モーション、キャプション、指示を含む、かなりのデータセットであるMoVidを収集します。さらに,ビデオやモーションにおける人間の行動理解をよりよく評価するために,手動による手動アノテーションを用いたMoVid-Benchを提案する。広汎な実験は、キャプションにおけるMotionLLMの優位性、空間的時間的理解、推論能力を示す。

関連論文リスト

Human Motion Instruction Tuning [30.71209562108675]
本稿では,人間の動作指導のためのフレームワークであるLLaMoについて述べる。 LLaMoは、命令チューニングのためのネイティブフォームで動作を保持します。ビデオデータとモーションデータをテキスト入力と共に処理することで、LLaMoは柔軟な人間中心の分析を可能にする。
論文参考訳（メタデータ） (2024-11-25T14:38:43Z)
MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding [76.30210465222218]
MotionGPT-2は、MLMLM(Large Motion-Language Model)である。 LLM(Large Language Models)によるマルチモーダル制御をサポートしている。難易度の高い3次元全体運動生成タスクに高い適応性を持つ。
論文参考訳（メタデータ） (2024-10-29T05:25:34Z)
MotionBank: A Large-scale Video Motion Benchmark with Disentangled Rule-based Annotations [85.85596165472663]
我々は、13の動画アクションデータセット、1.24Mのモーションシーケンス、132.9Mの自然な、多様な人間のモーションフレームからなるMotionBankを構築した。私たちのMotionBankは、人間のモーション生成、モーションインコンテキスト生成、そしてモーション理解といった、一般的なモーション関連タスクに役立ちます。
論文参考訳（メタデータ） (2024-10-17T17:31:24Z)
FreeMotion: MoCap-Free Human Motion Synthesis with Multimodal Large Language Models [19.09048969615117]
MLLMをベースとしたユーザ制御信号として自然言語命令を用いたオープンなヒューマンモーション合成について検討する。本手法は,多くの下流タスクにおいて,一般的な人間の動作合成を実現することができる。
論文参考訳（メタデータ） (2024-06-15T21:10:37Z)
Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文参考訳（メタデータ） (2023-10-06T20:48:43Z)
DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
論文参考訳（メタデータ） (2023-09-04T05:43:48Z)
MotionGPT: Human Motion as a Foreign Language [47.21648303282788]
人間の動きは人間の言語に似た意味的な結合を示し、しばしば身体言語の一種として認識される。大規模モーションモデルで言語データを融合することにより、動き言語事前学習は、動きに関連したタスクのパフォーマンスを向上させることができる。我々は,複数の動作関連タスクを処理するために,統一的で汎用的でユーザフレンドリな動作言語モデルであるMotionGPTを提案する。
論文参考訳（メタデータ） (2023-06-26T15:53:02Z)
Self-supervised Motion Learning from Static Images [36.85209332144106]
Motion from Static Images (MoSI) はモーション情報をエンコードすることを学ぶ。 MoSIは、下流のデータセットを微調整することなく、大きな動きを持つ領域を発見することができる。下流のデータセットを微調整することなく、MoSIが大きな動きを持つ領域を発見できることを実証します。
論文参考訳（メタデータ） (2021-04-01T03:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。