論文の概要: Human Motion Instruction Tuning

• arxiv url: http://arxiv.org/abs/2411.16805v2
• Date: Wed, 27 Nov 2024 11:45:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 11:38:21.319266
• Title: Human Motion Instruction Tuning
• Title（参考訳）: ヒューマンモーションインストラクションチューニング
• Authors: Lei Li, Sen Jia, Wang Jianhao, Zhongyu Jiang, Feng Zhou, Ju Dai, Tianfang Zhang, Wu Zongkai, Jenq-Neng Hwang,
• Abstract要約: 本稿では,人間の動作指導のためのフレームワークであるLLaMoについて述べる。 LLaMoは、命令チューニングのためのネイティブフォームで動作を保持します。 ビデオデータとモーションデータをテキスト入力と共に処理することで、LLaMoは柔軟な人間中心の分析を可能にする。
• 参考スコア（独自算出の注目度）: 30.71209562108675
• License:
• Abstract: This paper presents LLaMo (Large Language and Human Motion Assistant), a multimodal framework for human motion instruction tuning. In contrast to conventional instruction-tuning approaches that convert non-linguistic inputs, such as video or motion sequences, into language tokens, LLaMo retains motion in its native form for instruction tuning. This method preserves motion-specific details that are often diminished in tokenization, thereby improving the model's ability to interpret complex human behaviors. By processing both video and motion data alongside textual inputs, LLaMo enables a flexible, human-centric analysis. Experimental evaluations across high-complexity domains, including human behaviors and professional activities, indicate that LLaMo effectively captures domain-specific knowledge, enhancing comprehension and prediction in motion-intensive scenarios. We hope LLaMo offers a foundation for future multimodal AI systems with broad applications, from sports analytics to behavioral prediction. Our code and models are available on the project website: https://github.com/ILGLJ/LLaMo.
• Abstract（参考訳）: 本稿では,LLaMo(Large Language and Human Motion Assistant)について述べる。 ビデオやモーションシーケンスなどの非言語的な入力を言語トークンに変換する従来の命令チューニングアプローチとは対照的に、LLaMoは命令チューニングのネイティブ形式で動作を保持する。 この方法は、トークン化においてしばしば減少する動き固有の詳細を保存し、複雑な人間の振る舞いを解釈するモデルの能力を向上させる。 ビデオデータとモーションデータをテキスト入力と共に処理することで、LLaMoは柔軟な人間中心の分析を可能にする。 ヒトの行動や職業活動を含む複雑度の高い領域に対する実験的評価は、LLaMoがドメイン固有の知識を効果的に捉え、動き集約的なシナリオにおける理解と予測を強化することを示唆している。 LLaMoは、スポーツ分析から行動予測に至るまで、幅広い応用で将来のマルチモーダルAIシステムの基礎を提供することを期待しています。 私たちのコードとモデルはプロジェクトのWebサイト(https://github.com/ILGLJ/LLaMo)で公開されています。

関連論文リスト

• MotionBank: A Large-scale Video Motion Benchmark with Disentangled Rule-based Annotations [85.85596165472663]
  我々は、13の動画アクションデータセット、1.24Mのモーションシーケンス、132.9Mの自然な、多様な人間のモーションフレームからなるMotionBankを構築した。 私たちのMotionBankは、人間のモーション生成、モーションインコンテキスト生成、そしてモーション理解といった、一般的なモーション関連タスクに役立ちます。
  論文  参考訳（メタデータ） (2024-10-17T17:31:24Z)
• FreeMotion: MoCap-Free Human Motion Synthesis with Multimodal Large Language Models [19.09048969615117]
  MLLMをベースとしたユーザ制御信号として自然言語命令を用いたオープンなヒューマンモーション合成について検討する。 本手法は,多くの下流タスクにおいて,一般的な人間の動作合成を実現することができる。
  論文  参考訳（メタデータ） (2024-06-15T21:10:37Z)
• MotionLLM: Understanding Human Behaviors from Human Motions and Videos [40.132643319573205]
  この研究は、人間の行動理解の多様性(ビデオと運動のモダリティ)の領域を掘り下げる。 我々は、人間の動作理解、キャプション、推論のためのフレームワークであるMotionLLMを紹介する。
  論文  参考訳（メタデータ） (2024-05-30T17:59:50Z)
• Motion-Agent: A Conversational Framework for Human Motion Generation with LLMs [67.59291068131438]
  Motion-Agentは、一般的な人間の動きの生成、編集、理解のために設計された会話フレームワークである。 Motion-Agentはオープンソースの事前学習言語モデルを使用して、モーションとテキストのギャップを埋める生成エージェントであるMotionLLMを開発した。
  論文  参考訳（メタデータ） (2024-05-27T09:57:51Z)
• CoMo: Controllable Motion Generation through Language Guided Pose Code Editing [57.882299081820626]
  本稿では,制御可能なモーション生成モデルであるCoMoについて紹介する。 CoMoは、動きを離散的で意味のあるポーズコードに分解する。 自動的にポーズコードのシーケンスを生成し、それを3Dモーションにデコードする。
  論文  参考訳（メタデータ） (2024-03-20T18:11:10Z)
• Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
  物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
  論文  参考訳（メタデータ） (2023-10-06T20:48:43Z)
• MotionGPT: Human Motion as a Foreign Language [47.21648303282788]
  人間の動きは人間の言語に似た意味的な結合を示し、しばしば身体言語の一種として認識される。 大規模モーションモデルで言語データを融合することにより、動き言語事前学習は、動きに関連したタスクのパフォーマンスを向上させることができる。 我々は,複数の動作関連タスクを処理するために,統一的で汎用的でユーザフレンドリな動作言語モデルであるMotionGPTを提案する。
  論文  参考訳（メタデータ） (2023-06-26T15:53:02Z)
• HumanMAC: Masked Motion Completion for Human Motion Prediction [62.279925754717674]
  人間の動き予測はコンピュータビジョンとコンピュータグラフィックスの古典的な問題である。 従来の効果はエンコーディング・デコード方式に基づく経験的性能を実現している。 本稿では,新しい視点から新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-02-07T18:34:59Z)
• MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
  MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。 複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。 体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
  論文  参考訳（メタデータ） (2022-08-31T17:58:54Z)
• Self-supervised Motion Learning from Static Images [36.85209332144106]
  Motion from Static Images (MoSI) はモーション情報をエンコードすることを学ぶ。 MoSIは、下流のデータセットを微調整することなく、大きな動きを持つ領域を発見することができる。 下流のデータセットを微調整することなく、MoSIが大きな動きを持つ領域を発見できることを実証します。
  論文  参考訳（メタデータ） (2021-04-01T03:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。