論文の概要: Whole-Body Conditioned Egocentric Video Prediction

• arxiv url: http://arxiv.org/abs/2506.21552v1
• Date: Thu, 26 Jun 2025 17:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.248105
• Title: Whole-Body Conditioned Egocentric Video Prediction
• Title（参考訳）: 全体条件付きエゴセントリック映像予測
• Authors: Yutong Bai, Danny Tran, Amir Bar, Yann LeCun, Trevor Darrell, Jitendra Malik,
• Abstract要約: 我々は、人間行動(PEVA)からエゴ中心のビデオを予測するモデルを訓練する。 身体の関節階層によって構成される運動的ポーズの軌跡を条件にすることで,人間の身体行動が1対1の視点から環境をどう形成するかをシミュレートする。 我々の研究は、複雑な現実世界の環境をモデル化し、人間の視点から映像を予測するエージェントの振る舞いを具体化するための最初の試みである。
• 参考スコア（独自算出の注目度）: 98.94980209293776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We train models to Predict Ego-centric Video from human Actions (PEVA), given the past video and an action represented by the relative 3D body pose. By conditioning on kinematic pose trajectories, structured by the joint hierarchy of the body, our model learns to simulate how physical human actions shape the environment from a first-person point of view. We train an auto-regressive conditional diffusion transformer on Nymeria, a large-scale dataset of real-world egocentric video and body pose capture. We further design a hierarchical evaluation protocol with increasingly challenging tasks, enabling a comprehensive analysis of the model's embodied prediction and control abilities. Our work represents an initial attempt to tackle the challenges of modeling complex real-world environments and embodied agent behaviors with video prediction from the perspective of a human.
• Abstract（参考訳）: 我々は、過去のビデオと相対的な3Dボディポーズで表現されたアクションから、人間行動からエゴ中心のビデオを予測するモデルを訓練する。 身体の関節階層によって構成される運動的ポーズの軌跡を条件にすることで,人間の身体行動が1対1の視点から環境をどう形成するかをシミュレートする。 我々はNymeria上に自己回帰型条件分散トランスフォーマーをトレーニングし、実世界のエゴセントリックビデオとボディーポーズキャプチャーの大規模データセットを構築した。 さらに,より困難なタスクを伴って階層的評価プロトコルを設計し,モデルの具体的予測と制御能力の包括的解析を可能にする。 我々の研究は、複雑な現実世界の環境をモデル化し、人間の視点から映像を予測するエージェントの振る舞いを具体化するための最初の試みである。

関連論文リスト

• Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption [64.07607726562841]
  既存の人間再建アプローチは主に、正確なポーズの回復や侵入を避けることに焦点を当てている。 本研究では,モノクロ映像から密に対話的な人間を再構築する作業に取り組む。 本稿では,視覚情報の欠如を補うために,確率的行動や物理からの知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:55:45Z)
• EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
  EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。 EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。 我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-16T18:55:22Z)
• Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
  エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。 Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。 この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
  論文  参考訳（メタデータ） (2022-12-09T02:25:20Z)
• Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
  本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。 本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-11-29T16:32:41Z)
• Dynamics-Regulated Kinematic Policy for Egocentric Pose Estimation [23.603254270514224]
  本研究では,動力学的モデリング,動的モデリング,シーンオブジェクト情報を密に統合したオブジェクト認識型3Dエゴセントリックポーズ推定手法を提案する。 ウェアラブルカメラ1台を用いて、物理的に証明可能な3Dオブジェクトインタラクションを推定する能力を初めて実証した。
  論文  参考訳（メタデータ） (2021-06-10T17:59:50Z)
• Kinematics-Guided Reinforcement Learning for Object-Aware 3D Ego-Pose Estimation [25.03715978502528]
  本研究では,物体の相互作用と人体動態を3次元エゴ位置推定のタスクに組み込む手法を提案する。 我々は人体の運動モデルを用いて、人間の運動の全範囲を表現し、身体の力学モデルを用いて、物理学シミュレータ内の物体と相互作用する。 これは、エゴセントリックなビデオからオブジェクトと物理的に有効な3Dフルボディインタラクションシーケンスを推定する最初の試みである。
  論文  参考訳（メタデータ） (2020-11-10T00:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。