論文の概要: HumanMoveVQA: Can Video MLLMs reason about human movement in videos?

• arxiv url: http://arxiv.org/abs/2606.27999v2
• Date: Mon, 29 Jun 2026 10:15:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 15:56:39.068546
• Title: HumanMoveVQA: Can Video MLLMs reason about human movement in videos?
• Title（参考訳）: HumanMoveVQA:ビデオMLLMは人間の動きをビデオで説明できるのか?
• Abstract要約: HumanMoveVQAは、外心的な視点からグローバルな軌道と向きの推論を評価するために設計された最初のベンチマークである。 本研究では,2次元映像を世界一貫性のある3Dモーショントラックに引き上げる,スケーラブルなマルチステージパイプラインを提案する。 我々の評価では、人間の深部動作理解に関する最先端のプロプライエタリモデルにおいて、重要な能力ギャップが明らかになっている。
• 参考スコア（独自算出の注目度）: 21.158494377012286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the rapid advance of Multimodal Large Language Models (MLLMs) in high-level video understanding, a fundamental bottleneck remains: these models collapse complex human motion into coarse semantic labels. Existing benchmarks mostly focus on scene-centric events or local joint articulations, failing to probe global human motion in space over time (trajectory and orientation changes). We introduce HumanMoveVQA, the first comprehensive benchmark designed to evaluate global trajectory and orientation reasoning from an exocentric perspective. Our benchmark utilizes a first-frame anchored world coordinate system, preserving translation and rotation relative to a fixed starting point. We propose a scalable, multi-stage pipeline that lifts 2D video observations into world-consistent 3D motion tracks to generate over 10K structured question-answer pairs across seven reasoning categories, including motion aggregation, sequential ordering, and trajectory-level inference. Our extensive evaluation reveals a critical capability gap in state-of-the-art proprietary models on deep human motion understanding. However, we demonstrate that this is a learnable problem; by fine-tuning an open-source baseline with our targeted, world-consistent supervision, we achieve a significant improvement. HumanMoveVQA establishes a rigorous geometric foundation for developing next-generation, movement-aware video understanding models.
• Abstract（参考訳）: 高レベルのビデオ理解におけるMLLM(Multimodal Large Language Models)の急速な進歩にもかかわらず、基本的なボトルネックは残る: これらのモデルは複雑な人間の動きを粗いセマンティックラベルに分解する。 既存のベンチマークは主にシーン中心のイベントや局所的な関節関節に集中しており、時間とともに地球規模の人間の動きを探索することができない(軌道と方向の変化)。 我々は,グローバルな軌道と向きの推論を,エクソセントリックな視点から評価するための,最初の総合的なベンチマークであるHumanMoveVQAを紹介する。 本ベンチマークでは,第1フレームアンカー世界座標系を用いて,固定開始点に対する翻訳と回転を保存する。 本研究では,2次元映像を世界一貫性のある3Dモーショントラックに引き上げるスケーラブルな多段パイプラインを提案し,動作集約,逐次順序付け,軌道レベルの推論を含む7つの推論カテゴリに10K以上の構造化された質問応答ペアを生成する。 我々の広範囲な評価は、人間の深い動きの理解に関する最先端のプロプライエタリなモデルにおいて、重要な能力ギャップを明らかにしている。 しかし、これは学習可能な問題であり、ターゲットとする世界整合性監視とオープンソースベースラインを微調整することで、大幅な改善を実現しています。 HumanMoveVQAは、次世代の移動対応ビデオ理解モデルを開発するための厳密な幾何学的基盤を確立する。

関連論文リスト

• HiPHI: A Large-Scale Benchmark for High-Precision Human Motion and Object-Interaction [48.4618478154232]
  HiPHIは600時間以上の高忠実度人体モーションデータセットである。 フルボディの人間の動きとメッシュレベルの物体軌跡に対して、サブミリメートルの空間マーカー追跡精度を提供する。 本稿では,動作空間の多様性,インタラクショングラウンド,オブジェクトの一貫性,物理AIアプリケーションを評価するベンチマークスイートを紹介する。
  論文  参考訳（メタデータ） (2026-08-17T07:54:26Z)
• ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine [83.02804728003862]
  Ambient Capture Engine (ACE)は、実家環境を空間的に、時間的に同期されたレコーディングスタジオに変換する。 ACEは、エゴセントリックでマルチビューのエクソセントリックなビデオ、フルボディと手の動き、オブジェクト幾何学と6-DoF軌道、オーディオ、信号を、統一されたマルチ感覚ストリームとして記録する。 データセットは、原子操作、家庭活動の長い水平鎖、人間とシーンの相互作用にまたがっており、ステップバイステップの指示よりもゴールレベルの自然な振る舞いを保っている。
  論文  参考訳（メタデータ） (2026-07-30T17:59:50Z)
• Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control [56.828569670698975]
  デレクシング・ザ・ワールド(Directing the World)は、人体動作とカメラ軌道制御を備えた、制御可能な世界モデルビデオ生成のための高速自動回帰フレームワークである。 私たちのキーとなるアイデアは、前もって統合された自己回帰ビデオを保持しながら、制御学習を分離することです。 人間の動作制御のために、t誘導型動的投射機構と洗練されたモーション-CFG戦略を設計する。
  論文  参考訳（メタデータ） (2026-06-26T11:08:09Z)
• EgoMotion: Hierarchical Reasoning and Diffusion for Egocentric Vision-Language Motion Generation [74.07852250099559]
  Egocentric Vision-Language (Ego-VL) モーション生成について検討する。 本課題は,1対1の視覚的観察と自然言語の指示を併用した3次元人間の動作を合成することである。 この課題に対処するために,階層型生成フレームワーク textbfEgoMotion を提案する。
  論文  参考訳（メタデータ） (2026-04-21T05:31:06Z)
• Superman: Unifying Skeleton and Vision for Human Motion Perception and Generation [32.57062686780495]
  Supermanは、視覚知覚を時間的、骨格に基づくモーション生成にブリッジする統合フレームワークである。 このモジュールは、多種多様な時間的入力を柔軟に処理し、ビデオ(知覚)からスケルトンに基づく動き予測とin-betweening(世代)による3Dスケルトンポーズを推定する。
  論文  参考訳（メタデータ） (2026-02-02T17:59:01Z)
• LatentMove: Towards Complex Human Movement Video Generation [35.83863053692456]
  我々は、高ダイナミックな人間のアニメーションに特化して設計されたDiTベースのフレームワークであるLatentMoveを提示する。 アーキテクチャには条件制御ブランチと学習可能なフェイス/ボディトークンが組み込まれており、フレーム間のきめ細かい詳細や一貫性を保っている。 I2Vシステムのロバスト性を評価するために設計された多種多様で挑戦的な人間の動きを特徴付けるデータセットである複合Human-Videos(CHV)を紹介する。
  論文  参考訳（メタデータ） (2025-05-28T07:10:49Z)
• Mocap-2-to-3: Multi-view Lifting for Monocular Motion Recovery with 2D Pretraining [49.223455189395025]
  Mocap-2-to-3は単分子入力からマルチビューリフトを実行する新しいフレームワークである。 豊富な2次元データを活用するため、複雑な3次元運動を多視点合成に分解する。 本手法は,カメラ空間のモーションリアリズムと世界空間の人間の位置決めの両面において,最先端のアプローチを超越した手法である。
  論文  参考訳（メタデータ） (2025-03-05T06:32:49Z)
• Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
  物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
  論文  参考訳（メタデータ） (2023-10-06T20:48:43Z)
• MotionBERT: A Unified Perspective on Learning Human Motion Representations [46.67364057245364]
  本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。 本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。 動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
  論文  参考訳（メタデータ） (2022-10-12T19:46:25Z)
• GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
  ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。 われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。 従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:54Z)
• Task-Generic Hierarchical Human Motion Prior using VAEs [44.356707509079044]
  人間の動きを記述する深い生成モデルは、幅広いコンピュータビジョンやグラフィックタスクに役立てることができる。 本稿では,グローバル・ローカル・ラテント・スペースの組み合わせを用いて,特定のタスクに依存しない複雑な人間の動作を学習する手法を提案する。 映像に基づく人間のポーズ推定を含む様々なタスクにおいて,階層的な動き変動自動エンコーダの有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-07T23:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。