論文の概要: VBot Exo2Ego Policy: Lightweight Data Collection and Exocentric-to-Egocentric Video Generation
- arxiv url: http://arxiv.org/abs/2611.16417v1
- Date: Thu, 12 Nov 2026 07:27:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.388425
- Title: VBot Exo2Ego Policy: Lightweight Data Collection and Exocentric-to-Egocentric Video Generation
- Title(参考訳): VBot Exo2Ego Policy:軽量データ収集とエゴ中心ビデオ生成
- Abstract要約: VBot Exo2Ego Policyは、ビデオ生成モデルである。
軽量なデータ収集パイプラインとモバイルアプリを導入し、一対一の録画、三対一の録画、両方のビューの同期キャプチャをサポートする。
- 参考スコア(独自算出の注目度): 7.336280802759563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present VBot Exo2Ego Policy, a video generation model that turns third-person videos into first-person observations of a selected actor, offering a practical way to expand first-person operation data from abundant real-world footage. To support this goal, we introduce a lightweight data collection pipeline and mobile app that support first-person recording, third-person recording, and synchronized capture of both views. This setup combines accessible single-view collection with paired RGB and camera geometry for learning cross-view correspondence. Building on a pretrained video diffusion transformer, our model incorporates geometric guidance and auxiliary supervision from semantic masks and hand keypoints to facilitate optimization and improve the fidelity of hand-object interactions. Camera geometry is injected stochastically during training and gradually removed, allowing inference without target-camera calibration. To accommodate the diversity of Internet videos, we combine source-video perception and reasoning, optional actor references, and multi-shot adaptation to identify the intended actor and follow an operation across camera cuts. The collection system and generation model provide a foundation for expanding first-person operation data across tasks, scenes, and participants.
- Abstract(参考訳): 本稿では,映像生成モデルであるVBot Exo2Ego Policyについて紹介する。
この目標を達成するために,第1人物記録,第3人物記録,両ビューの同期キャプチャをサポートする軽量データ収集パイプラインとモバイルアプリを導入する。
このセットアップは、アクセス可能なシングルビューコレクションとペアのRGBとカメラジオメトリを組み合わせて、クロスビュー対応を学習する。
予め訓練したビデオ拡散変換器をベースとして,セマンティックマスクや手指キーポイントからの幾何学的指導と補助的指導を取り入れて,手指操作の最適化と忠実度の向上を図る。
カメラ幾何学は、トレーニング中に確率的に注入され、徐々に除去され、ターゲットカメラの校正なしに推論が可能である。
インターネットビデオの多様性に対応するため、ソース・ビデオの認識と推論、任意のアクター参照、マルチショット適応を組み合わせて、意図したアクターを特定し、カメラカットをまたいで操作する。
収集システムと生成モデルは、タスク、シーン、参加者にまたがる一対一の操作データを拡張するための基盤を提供する。
関連論文リスト
- Geo-Align: Video Generation Alignment via Metric Geometry Reward [53.65904111864641]
Geo-Alignは、カメラ制御ビデオ再レンダリング用に特別に設計された最初の強化学習フレームワークである。
事前訓練されたモデルに基づいて、スケールアウェアの知覚報酬機構を用いてモデルを最適化する。
実験により、Geo-Alignは、カメラの正確な制御性と視覚的忠実性の両方において、既存の教師付き学習ベースラインを一貫して上回っていることが示された。
論文 参考訳(メタデータ) (2026-05-22T17:59:43Z) - MVHOI: Bridge Multi-view Condition to Complex Human-Object Interaction Video Reenactment via 3D Foundation Model [83.12400850233034]
人間と物体の相互作用(Human-Object Interaction,HOI)ビデオのリアルな動きによる再現は、デジタル人間の創造のフロンティアである。
マルチビュー参照条件とビデオ基盤モデルをブリッジする2段階のHOIビデオ再現フレームワークであるMVHOIを提案する。
本フレームワークは,複雑なオブジェクト操作による長期HOIビデオの生成において,優れた性能を示す。
論文 参考訳(メタデータ) (2026-03-16T00:43:38Z) - Infinite-Homography as Robust Conditioning for Camera-Controlled Video Generation [49.12018869332346]
InfCamは、高ポーズ忠実度でカメラ制御されたビデオ・ビデオ生成フレームワークである。
1)ビデオ拡散モデルの2次元潜在空間内で直接3次元カメラ回転を符号化する。
論文 参考訳(メタデータ) (2025-12-18T20:03:05Z) - sim2art: Accurate Articulated Object Modeling from a Single Video using Synthetic Training Data Only [20.99905717289565]
本稿では,自由移動カメラで撮影した単眼ビデオから,関節部分のセグメンテーションと関節パラメータを共同で予測する最初のデータ駆動方式を提案する。
提案手法は,実世界のオブジェクトへの強力な一般化を実証し,拡張性および実用的なオブジェクト理解ソリューションを提供する。
提案手法は, カジュアルに記録された映像を直接操作し, 動的環境におけるリアルタイムなアプリケーションに適合する。
論文 参考訳(メタデータ) (2025-12-08T16:38:30Z) - Unified Camera Positional Encoding for Controlled Video Generation [48.5789182990001]
トランスフォーマーは、3D知覚、ビデオ生成、自律運転のための世界モデル、そしてAIを具体化するための普遍的なバックボーンとして登場した。
本稿では、6-DoFポーズ、内在性、レンズ歪みを含む完全なカメラ情報を統一する幾何学一貫性表現であるRelative Rayを紹介する。
システム的なトレーニングと評価を容易にするため,広い範囲のカメラモーションとレンズタイプをカバーする大規模なビデオデータセットを構築した。
論文 参考訳(メタデータ) (2025-12-08T07:34:01Z) - VideoArtGS: Building Digital Twins of Articulated Objects from Monocular Video [60.63575135514847]
モノクロビデオから音声化されたオブジェクトのデジタルツインを構築することは、コンピュータビジョンにおいて重要な課題である。
本稿では,モノクロ映像から高忠実度デジタル双対を再構成する新しい手法であるVideoArtGSを紹介する。
VideoArtGSは、調音およびメッシュ再構成における最先端性能を示し、既存の方法に比べて約2桁の再現誤差を低減している。
論文 参考訳(メタデータ) (2025-09-22T11:52:02Z) - TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models [33.219657261649324]
TrajectoryCrafterは、モノクロビデオのためのカメラトラジェクトリをリダイレクトする新しいアプローチである。
コンテンツ生成から決定論的視点変換を遠ざけることで,ユーザの特定したカメラトラジェクトリの正確な制御を実現する。
論文 参考訳(メタデータ) (2025-03-07T17:57:53Z) - Multi-subject Open-set Personalization in Video Generation [110.02124633005516]
我々は、マルチオブジェクトでオープンなパーソナライズ機能を備えたビデオモデルとして、Video Alchemist $-$を提示する。
本モデルは,各条件付き参照画像と対応する主観レベルテキストプロンプトを融合するDiffusion Transformerモジュール上に構築されている。
本手法は,定量評価と定性評価の両方において,既存のパーソナライズ手法を著しく上回っている。
論文 参考訳(メタデータ) (2025-01-10T18:59:54Z) - Enhancing Egocentric 3D Pose Estimation with Third Person Views [37.9683439632693]
本研究では,1台のウェアラブルカメラから撮影した映像から計算した人物の3次元身振り推定を強化する新しい手法を提案する。
First2Third-Poseは、最初の視点と第三視点の両方から捉えた人間の活動を描いた2000近いビデオからなる、ペア化された新しい同期データセットである。
実験により,データセットを用いて学習した多視点埋め込み空間は,任意の単視点自我中心ビデオから識別的特徴を抽出するのに有用であることが示された。
論文 参考訳(メタデータ) (2022-01-06T11:42:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。