論文の概要: EgoReAct: Egocentric Video-Driven 3D Human Reaction Generation
- arxiv url: http://arxiv.org/abs/2512.22808v1
- Date: Sun, 28 Dec 2025 06:44:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-30 22:37:30.236807
- Title: EgoReAct: Egocentric Video-Driven 3D Human Reaction Generation
- Title（参考訳）: EgoReAct:エゴセントリックなビデオ駆動型3D人間反応生成
- Abstract要約: EgoReActは,エゴセントリックな映像ストリームからリアルタイムに3Dアライメントされた人間の反応運動を生成する最初のフレームワークである。
EgoReAct は,従来の手法に比べて極めて高いリアリズム,空間整合性,生成効率を実現している。
- 参考スコア（独自算出の注目度）: 84.37917777533963
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans exhibit adaptive, context-sensitive responses to egocentric visual input. However, faithfully modeling such reactions from egocentric video remains challenging due to the dual requirements of strictly causal generation and precise 3D spatial alignment. To tackle this problem, we first construct the Human Reaction Dataset (HRD) to address data scarcity and misalignment by building a spatially aligned egocentric video-reaction dataset, as existing datasets (e.g., ViMo) suffer from significant spatial inconsistency between the egocentric video and reaction motion, e.g., dynamically moving motions are always paired with fixed-camera videos. Leveraging HRD, we present EgoReAct, the first autoregressive framework that generates 3D-aligned human reaction motions from egocentric video streams in real-time. We first compress the reaction motion into a compact yet expressive latent space via a Vector Quantised-Variational AutoEncoder and then train a Generative Pre-trained Transformer for reaction generation from the visual input. EgoReAct incorporates 3D dynamic features, i.e., metric depth, and head dynamics during the generation, which effectively enhance spatial grounding. Extensive experiments demonstrate that EgoReAct achieves remarkably higher realism, spatial consistency, and generation efficiency compared with prior methods, while maintaining strict causality during generation. We will release code, models, and data upon acceptance.
- Abstract（参考訳）: 人間は自我中心の視覚入力に対して適応的で文脈に敏感な反応を示す。
しかし、厳密な因果生成と正確な3次元空間アライメントの二重要求のため、自我中心ビデオからのこのような反応を忠実にモデル化することは依然として困難である。
この問題に対処するために、我々はまず、既存のデータセット(例えば、ViMo)がエゴセントリックなビデオと反応運動の空間的不整合に悩まされているため、空間的に整合したエゴセントリックなビデオ・リアクション・データセットを構築することで、データの不足と不整合に対処するヒューマン・リアクション・データセット(HRD)を構築した。
HRDを活用することで、EgoReActは、エゴセントリックなビデオストリームから3Dアライメントされた人間の反応運動をリアルタイムで生成する最初の自動回帰フレームワークである。
まず、ベクトル量子化可変オートエンコーダを用いて、反応運動をコンパクトで表現力のある潜在空間に圧縮し、次に視覚入力から反応生成のための生成事前学習変換器を訓練する。
EgoReActは3Dのダイナミックな特徴、すなわちメートル法深度と生成時の頭部ダイナミクスを取り入れ、空間的接地を効果的に強化する。
大規模な実験により、EgoReActは、生成中の厳密な因果性を維持しながら、従来の方法よりもはるかに高いリアリズム、空間整合性、生成効率を達成することが示された。
受け入れ次第、コード、モデル、データをリリースします。
関連論文リスト
- PhyMotion: Structured 3D Motion Reward for Physics-Grounded Human Video Generation [75.96085587438279]
既存のビデオ報酬は主に2D知覚信号に依存しており、3Dの身体状態、接触状態、人間の関節の動きに基づくダイナミクスを明示的にモデル化する必要はない。
物理シミュレータにおける3次元人体軌道の復元を基礎とした構造的,きめ細かな運動報酬であるPhyMotionを提案し,運動の質を多次元の物理的実現性に沿って評価する。
実験により、PhyMotionは既存の報酬の定式化よりも人間の判断と強い相関性が得られることが示された。
論文 参考訳（メタデータ） (2026-05-14T02:12:13Z) - Bringing a Personal Point of View: Evaluating Dynamic 3D Gaussian Splatting for Egocentric Scene Reconstruction [17.903916530175533]
エゴセントリックなビデオは、人間の知覚と相互作用に関するユニークな視点を提供する。
迅速なカメラモーションと複雑なシーンダイナミクスは、この観点から3次元再構成に大きな課題をもたらす。
エゴ中心およびエゴ中心ビデオ上での動的単分子3DGSモデルの評価を,ペア・エゴ・エゴ・エゴ・レコーディングを用いて行った。
論文 参考訳（メタデータ） (2026-04-26T16:58:19Z) - EgoSim: Egocentric World Simulator for Embodied Interaction Generation [93.11209644808783]
EgoSimは、空間的に一貫した対話ビデオを生成するクローズドループエゴセントリックな世界シミュレータである。
連続シミュレーションのために、基礎となる3Dシーン状態を継続的に更新する。
EgoSimは、視覚的品質、空間的整合性、一般化の点で、既存の手法を大幅に上回っている。
論文 参考訳（メタデータ） (2026-04-01T15:00:46Z) - Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints [87.13154261503168]
モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。
既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。
単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-12T10:02:23Z) - MeshMimic: Geometry-Aware Humanoid Motion Learning through 3D Scene Reconstruction [54.36564144414704]
MeshMimicは、3Dシーンの再構築とインテリジェンスを組み込んだ革新的なフレームワークで、ヒューマノイドロボットがビデオから直接「モーション・テライン」インタラクションを学習できるようにする。
現状の3次元視覚モデルを活用することで、我々のフレームワークは、人間の軌跡と基礎となる地形や物体の3次元幾何学の両方を正確にセグメント化し再構築する。
論文 参考訳（メタデータ） (2026-02-17T17:09:45Z) - EgoTwin: Dreaming Body and View in First Person [47.06226050137047]
EgoTwinは拡散トランスフォーマーアーキテクチャ上に構築された共同ビデオモーション生成フレームワークである。
EgoTwinは人間の動きを頭部に固定し、サイバネティックスにインスパイアされた相互作用機構を組み込む。
総合的な評価のために、同期されたテキスト-ビデオ-モーション三重項の大規模実世界のデータセットをキュレートする。
論文 参考訳（メタデータ） (2025-08-18T15:33:09Z) - UniEgoMotion: A Unified Model for Egocentric Motion Reconstruction, Forecasting, and Generation [26.03507721111338]
本稿では、シーン認識動作合成に一対一のイメージを利用する2つの新しいタスクである、エゴセントリックモーション生成とエゴセントリックモーション予測を紹介する。
我々は,エゴセントリックデバイスに適した新しい頭部中心運動表現を備えた統一された条件付き運動拡散モデルUniEgoMotionを提案する。
UniEgoMotionは、自我中心の運動再構成において最先端のパフォーマンスを達成し、単一の自我中心の画像から動きを初めて生成する。
論文 参考訳（メタデータ） (2025-08-02T00:41:20Z) - PlayerOne: Egocentric World Simulator [73.88786358213694]
PlayerOneは、最初のエゴセントリックなリアルワールドシミュレータである。
それは、エゴセントリックなビデオを生成し、エゴセントリックなカメラで捉えたユーザーの実際のシーンの人間の動きと厳密に一致している。
論文 参考訳（メタデータ） (2025-06-11T17:59:53Z) - EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。
動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
論文 参考訳（メタデータ） (2024-06-28T10:39:36Z) - EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。
EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。
我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
論文 参考訳（メタデータ） (2024-01-16T18:55:22Z) - 3D Human Pose Perception from Egocentric Stereo Videos [67.9563319914377]
我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。
本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。
私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
論文 参考訳（メタデータ） (2023-12-30T21:21:54Z) - Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。
Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。
この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
論文 参考訳（メタデータ） (2022-12-09T02:25:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。