論文の概要: Fine-grained Human Motion Understanding with Language Models

• arxiv url: http://arxiv.org/abs/2606.20888v1
• Date: Thu, 18 Jun 2026 19:31:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 12:16:09.455392
• Title: Fine-grained Human Motion Understanding with Language Models
• Title（参考訳）: 言語モデルを用いたきめ細かい人間の動作理解
• Authors: Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang,
• Abstract要約: Methodnameは、各ポーズに対して明示的なタイムスタンプを持つ骨格ポーズのシーケンスとして動きを表す。 我々は,ポーズキャプション,ポーズ質問応答,モーションキャプション,モーション質問応答にまたがる訓練混合物を構築した。 提案手法は2次元および3次元の骨格運動表現を統一されたポーズエンコーダにより支援する。
• 参考スコア（独自算出の注目度）: 11.539750714535773
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we propose \methodname, an LLM-based model for fine-grained human motion understanding that represents motion as a sequence of skeletal poses with explicit timestamps for each pose. Each pose encodes body joint positions and is temporally grounded with timestamp tokens, allowing the model to reason about motion order, duration, and rhythm. To study what supervision is needed for motion-language reasoning, we construct a diverse training mixture spanning pose captioning, pose question answering, motion captioning, and motion question answering. Our ablations show that the primary gains come from the diversity of pose- and motion-level supervision, while staged training provides a smaller additional benefit. Different from previous works that rely on ground-truth 3D motion capture, our approach supports both 2D and 3D skeletal motion representations through a unified pose encoder, and can optionally incorporate video to provide contextual information. Extensive experiments on BABEL-QA, HuMMan-QA, CompMo, NTU-RGB+D, and QEVD-Coach demonstrate that our method achieves state-of-the-art performance across multiple benchmarks, highlighting the effectiveness of explicit temporal encoding and diverse pose- and motion-level supervision for fine-grained human motion understanding. Notably, even when using only 2D skeletal input, our approach surpasses previous 3D-based methods.
• Abstract（参考訳）: 本研究では,LLMに基づく人間の動作理解モデルである<methodname</methodname</methodnameを提案する。 それぞれのポーズは、身体の関節の位置を符号化し、タイムスタンプトークンで時間的に接地され、モデルが動きの順序、持続時間、リズムについて推論することができる。 動作言語推論に何の監督が必要かを調べるため,ポーズキャプション,ポーズ質問応答,モーションキャプション,動作質問応答を対象とする多種多様な訓練混合物を構築した。 私たちの経験によると、第一の利点はポーズレベルの監督とモーションレベルの監督の多様性であり、一方ステージドトレーニングはより小さな付加的な利益をもたらす。 従来の3Dモーションキャプチャと異なり、2Dと3Dの両方の骨格運動表現を統合ポーズエンコーダでサポートし、映像を任意に組み込んで文脈情報を提供する。 BABEL-QA, HuMMan-QA, CompMo, NTU-RGB+D, QEVD-Coach の広範囲な実験により, 提案手法は複数のベンチマークにおいて最先端の性能を達成し, 露骨な時間的エンコーディングと多種多様なポーズ・モーションレベルの監視による微粒な人体動作理解の有効性を強調した。 特に,2次元骨格入力のみを用いても,従来の3次元手法を超越している。

関連論文リスト

• IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation [58.297199313494]
  インプシット法は、動画から直接動作の意味をキャプチャするが、動作と外観の絡み合いやアイデンティティの漏洩に悩まされる。 本稿では,フレームごとの動作をコンパクトな1次元モーショントークンに圧縮する新しい暗黙の動作表現を提案する。 本手法では,3段階のトレーニング戦略を用いて,トレーニング効率を高め,高い忠実性を確保する。
  論文  参考訳（メタデータ） (2026-02-07T11:17:20Z)
• Superman: Unifying Skeleton and Vision for Human Motion Perception and Generation [32.57062686780495]
  Supermanは、視覚知覚を時間的、骨格に基づくモーション生成にブリッジする統合フレームワークである。 このモジュールは、多種多様な時間的入力を柔軟に処理し、ビデオ(知覚)からスケルトンに基づく動き予測とin-betweening(世代)による3Dスケルトンポーズを推定する。
  論文  参考訳（メタデータ） (2026-02-02T17:59:01Z)
• UniMo: Unifying 2D Video and 3D Human Motion with an Autoregressive Framework [54.337290937468175]
  統合された枠組み内での2次元映像と3次元映像の協調モデリングのための自己回帰モデルUniMoを提案する。 本手法は,正確なモーションキャプチャを行いながら,対応する映像と動きを同時に生成することを示す。
  論文  参考訳（メタデータ） (2025-12-03T16:03:18Z)
• Mocap-2-to-3: Multi-view Lifting for Monocular Motion Recovery with 2D Pretraining [49.223455189395025]
  Mocap-2-to-3は単分子入力からマルチビューリフトを実行する新しいフレームワークである。 豊富な2次元データを活用するため、複雑な3次元運動を多視点合成に分解する。 本手法は,カメラ空間のモーションリアリズムと世界空間の人間の位置決めの両面において,最先端のアプローチを超越した手法である。
  論文  参考訳（メタデータ） (2025-03-05T06:32:49Z)
• Shape of Motion: 4D Reconstruction from a Single Video [42.42669078777769]
  本稿では,世界座標フレーム内の3次元運動軌跡を明示的かつ永続的に特徴付ける,ジェネリックダイナミックシーンの再構築手法を提案する。 まず,コンパクトなSE(3)モーションベースでシーンの動きを表現することで,3次元動作の低次元構造を利用する。 第2に,単眼深度マップや長距離2Dトラックなどの既成データ駆動の先行データを利用して,これらのノイズを効果的に処理する方法を考案する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• MotionBERT: A Unified Perspective on Learning Human Motion Representations [46.67364057245364]
  本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。 本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。 動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
  論文  参考訳（メタデータ） (2022-10-12T19:46:25Z)
• HuMoR: 3D Human Motion Model for Robust Pose Estimation [100.55369985297797]
  HuMoRは、時間的ポーズと形状のロバスト推定のための3Dヒューマンモーションモデルです。 モーションシーケンスの各ステップにおけるポーズの変化の分布を学習する条件付き変分オートエンコーダについて紹介する。 本モデルが大規模モーションキャプチャーデータセットのトレーニング後に多様な動きや体型に一般化することを示す。
  論文  参考訳（メタデータ） (2021-05-10T21:04:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。