論文の概要: Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints
- arxiv url: http://arxiv.org/abs/2603.11755v1
- Date: Thu, 12 Mar 2026 10:02:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-13 14:46:26.008168
- Title: Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints
- Title（参考訳）: Occlusion-Aware Sparse 3D Hand Joints による自己中心型映像の制御
- Abstract要約: モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。
既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。
単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 87.13154261503168
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motion-controllable video generation is crucial for egocentric applications in virtual reality and embodied AI. However, existing methods often struggle to achieve 3D-consistent fine-grained hand articulation. By adopting on 2D trajectories or implicit poses, they collapse 3D geometry into spatially ambiguous signals or over rely on human-centric priors. Under severe egocentric occlusions, this causes motion inconsistencies and hallucinated artifacts, as well as preventing cross-embodiment generalization to robotic hands. To address these limitations, we propose a novel framework that generates egocentric videos from a single reference frame, leveraging sparse 3D hand joints as embodiment-agnostic control signals with clear semantic and geometric structures. We introduce an efficient control module that resolves occlusion ambiguities while fully preserving 3D information. Specifically, it extracts occlusion-aware features from the source reference frame by penalizing unreliable visual signals from hidden joints, and employs a 3D-based weighting mechanism to robustly handle dynamically occluded target joints during motion propagation. Concurrently, the module directly injects 3D geometric embeddings into the latent space to strictly enforce structural consistency. To facilitate robust training and evaluation, we develop an automated annotation pipeline that yields over one million high-quality egocentric video clips paired with precise hand trajectories. Additionally, we register humanoid kinematic and camera data to construct a cross-embodiment benchmark. Extensive experiments demonstrate that our approach significantly outperforms state-of-the-art baselines, generating high-fidelity egocentric videos with realistic interactions and exhibiting exceptional cross-embodiment generalization to robotic hands.
- Abstract（参考訳）: モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。
しかし、既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。
2次元軌跡や暗黙のポーズを採用することで、3次元幾何学を空間的にあいまいな信号に分解するか、あるいは人間中心の先行に依存する。
重度の自我中心の閉塞下では、運動の不整合や幻覚を生じさせ、ロボットハンドへのクロス・エボディメントの一般化を防ぐ。
これらの制約に対処するために,一本の参照フレームからエゴセントリックな映像を生成する新しいフレームワークを提案する。
本稿では,3次元情報を完全に保存しつつ,閉塞の曖昧さを解消する効率的な制御モジュールを提案する。
具体的には、隠れた関節から信頼できない視覚信号を貫通させることにより、ソース参照フレームから閉塞認識特徴を抽出し、3Dベースの重み付け機構を用いて、運動伝搬中に動的に閉塞された目標関節を頑健に処理する。
同時に、モジュールは3次元幾何学的埋め込みを直接潜在空間に注入し、構造的整合性を厳格に強制する。
頑健なトレーニングと評価を容易にするために,100万以上の高品質なエゴセントリックなビデオクリップと正確なハンドトラジェクトリを組み合わせた自動アノテーションパイプラインを開発した。
さらに,人間型キネマティックとカメラのデータを登録して,クロス・エボディメント・ベンチマークを構築する。
広汎な実験により、我々のアプローチは最先端のベースラインを著しく上回り、現実的な相互作用を伴う高忠実なエゴセントリックなビデオを生成し、ロボットハンドに例外的なクロス・エボディメントの一般化を示す。
関連論文リスト
- EgoTrack3D: A Modular Framework for Egocentric 3D Object Tracking [48.532819029347785]
我々はEgoTrack3Dを紹介した。EgoTrack3Dは、エゴセントリックなRGBビデオから直接動的3Dシーンを再構成し、維持するモジュラーフレームワークである。
EgoTrack3Dは時間とともに正確な表現を維持し、正しい位置の割合で11%改善している。
密集深度マップをスパース3次元境界ボックス推定に置き換え、相互作用誘導動的アソシエーションを統合する。
論文 参考訳（メタデータ） (2026-08-08T08:53:54Z) - LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models [64.11117186468533]
世界モデルは、エージェントが現実世界のインタラクションなしで前方ロールアウトと計画を実行することを可能にする。
既存のLAMのほとんどはシングルビュー入力に依存しており、主に2Dピクセル空間で動作する。
LAWM-3Dは、3D対応の潜伏動作を学習するための3つの密結合型鍵設計を提案する。
論文 参考訳（メタデータ） (2026-08-06T07:47:01Z) - ViPS: Video-informed Pose Spaces for Auto-Rigged Meshes [55.32681167870698]
Video-informed Pose Spaces (ViPS)は、自動リップメッシュのための有効な調律の潜時分布を検出するフィードフォワードフレームワークである。
ViPSは生成ビデオの先行値を所定のリグパラメータ化上の普遍分布に転送する。
評価の結果,VPSは,合成アーティストが作成した4Dデータに基づいて訓練した最先端の手法の性能と,妥当性と多様性の両面で一致していることがわかった。
論文 参考訳（メタデータ） (2026-04-19T21:21:11Z) - OneWorld: Taming Scene Generation with 3D Unified Representation Autoencoder [90.8453349494245]
本研究では,コヒーレントな3次元表現空間内で直接拡散を行うOneWorldを提案する。
OneWorldは、最先端の2Dベースの方法と比較して、クロスビューの一貫性に優れた高品質な3Dシーンを生成する。
論文 参考訳（メタデータ） (2026-03-17T03:43:37Z) - Articulat3D: Reconstructing Articulated Digital Twins From Monocular Videos with Geometric and Motion Constraints [21.83046776294786]
Articulat3Dは、カジュアルにキャプチャされたモノクロビデオからデジタルツインを構築する新しいフレームワークである。
まず,3次元の軌跡を利用して調音運動の低次元構造を利用する動き優先初期化を提案する。
次に、物理的に可算な調音を強制する幾何学的・運動的制約(Geometric and Motion Constraints Refinement)を導入する。
実験により、Articulat3Dは、合成ベンチマークと現実世界のカジュアルにキャプチャされたモノクロビデオで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2026-03-12T06:59:44Z) - Hand2World: Autoregressive Egocentric Interaction Generation via Free-Space Hand Gestures [33.2764643227486]
エゴセントリックなインタラクティブな世界モデルは、拡張現実と具体的AIにとって不可欠であり、視覚生成は低レイテンシ、幾何的一貫性、長期的な安定性でユーザの入力に応答する必要がある。
自由空間ハンドジェスチャ下での単一シーン画像からのエゴセントリックなインタラクション生成について検討し、シーンに手を入れたり、オブジェクトと対話したり、ヘッドモーション下でプラプティブルな世界ダイナミクスを誘導するフォトリアリスティックな映像を合成することを目的とした。
この設定には、自由空間のジェスチャーと接触重大なトレーニングデータとの分配シフト、モノクロビューにおける手の動きとカメラの動きのあいまいさ、任意の長さのビデオ生成の必要性など、基本的な課題が導入されている。
論文 参考訳（メタデータ） (2026-02-10T09:51:07Z) - 3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation [29.389246008057473]
2Dは、新規な視点合成を前に、運動を駆動的視点に厳密に結合する。
3DiMoは、予め訓練されたビデオジェネレータでモーションエンコーダを訓練し、駆動フレームをコンパクトでビューに依存しないモーショントークンに蒸留する。
3DiMoは、フレキシブルでテキスト駆動のカメラコントロールで運転動作を忠実に再現する。
論文 参考訳（メタデータ） (2026-02-03T17:59:09Z) - DragMesh: Interactive 3D Generation Made Easy [12.832539752284466]
DragMeshはリアルタイムインタラクティブな3Dコーディネーションのための堅牢なフレームワークである。
私たちのコアコントリビューションは、新しい分離されたキネマティック推論とモーションジェネレーションフレームワークです。
論文 参考訳（メタデータ） (2025-12-06T13:10:44Z) - Controllable Human-centric Keyframe Interpolation with Generative Prior [55.16558476905587]
本稿では,PoseFuse3D Keyframe Interpolator(PoseFuse3D-KI)を紹介する。
我々は,PoseFuse3D-KIがCHKI-Videoの最先端のベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2025-06-03T17:50:05Z) - 3DTrajMaster: Mastering 3D Trajectory for Multi-Entity Motion in Video Generation [83.98251722144195]
制御可能なビデオ生成における従来の方法は、主に物体の動きを操作するために2D制御信号を利用する。
本稿では3次元空間におけるマルチエンタリティダイナミクスを制御する頑健なコントローラである3DTrajMasterを紹介する。
3DTrajMasterは,多心性3D動作を制御するための精度と一般化の両面において,新しい最先端技術を設定する。
論文 参考訳（メタデータ） (2024-12-10T18:55:13Z) - Atlas3D: Physically Constrained Self-Supporting Text-to-3D for Simulation and Fabrication [50.541882834405946]
我々は,テキストから3Dへの自動的実装であるAtlas3Dを紹介する。
提案手法は,新しい微分可能シミュレーションに基づく損失関数と,物理的にインスパイアされた正規化を組み合わせたものである。
我々は、Atlas3Dの有効性を広範囲な生成タスクを通して検証し、シミュレーションと実環境の両方で結果の3Dモデルを検証する。
論文 参考訳（メタデータ） (2024-05-28T18:33:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。