論文の概要: TryOnCrafter: Unleashing Camera Trajectories for Realistic Video Virtual Try-on via a Renderable 4D Try-on Proxy
- arxiv url: http://arxiv.org/abs/2606.26092v1
- Date: Wed, 24 Jun 2026 17:59:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.424657
- Title: TryOnCrafter: Unleashing Camera Trajectories for Realistic Video Virtual Try-on via a Renderable 4D Try-on Proxy
- Title（参考訳）: TryOnCrafter:リアルな仮想トライオンのためのカメラトラジェクトリをレンダリング可能な4Dトライオンプロキシで公開
- Abstract要約: 今回紹介するTryOnCrafterは,CaM-VVTタスク用に特別に設計された,DiTベースの統合フレームワークである。
TryOnCrafterは、人間の再ローカライゼーション、弾丸の時間効果、および360ドルの軌道観測など、さまざまなダウンストリームアプリケーションを促進する。
- 参考スコア（独自算出の注目度）: 29.42441554099872
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Video Virtual Try-on (VVT) has achieved remarkable progress in synthesizing realistic garment overlays on dynamic subjects, existing paradigms remains fundamentally constrained by a passive dependency on source camera trajectories, failing to accommodate the requisite interactive freedom for omnidirectional viewpoint exploration. To address this limitation, we define a pioneering research frontier: Camera-controllable Video Virtual Try-on (CaM-VVT). Unlike conventional VVT, CaM-VVT not only necessitates viewpoint-agnostic texture hallucination but also strict structural synchronization between non-rigid human dynamics and background contexts under arbitrary, unconstrained camera movements. To tackle these challenges, we present TryOnCrafter, the first unified DiT-based framework specifically architected for the CaM-VVT task. Departing from implicit pixel-space manipulation, we introduce a Renderable 4D Try-on Proxy that explicitly decouples the human subject from the environment. This is achieved by distilling high-fidelity 2D try-on priors into a clothed 3DGS-based avatar, which is subsequently animated via SMPL-X sequences and metric-aligned into a reconstructed background point cloud. This proxy establishes a robust structural foundation with superior texture density and motion integrity. Our Proxy-Anchored Video DiT leverages this robust structural foundation as a primary geometric anchor, ensuring that the synthesized photorealistic videos are strictly constrained by prescribed trajectories and physically plausible deformations. Benefiting from the inherent editability of the 4D proxy, TryOnCrafter facilitates diverse downstream applications, including human relocalization, ``bullet time'' effects, and $360$-degree orbital viewing.
- Abstract（参考訳）: Video Virtual Try-on (VVT) は、ダイナミックな被写体にリアルなオーバーレイを合成する際、顕著な進歩を遂げているが、既存のパラダイムは、ソースカメラの軌跡への受動的依存によって根本的な制約を受けており、全方向視点探索において必要な対話的自由を満たさない。
この制限に対処するため、我々は先駆的な研究フロンティアであるCaM-VVT(Camera-controllable Video Virtual Try-on)を定義した。
従来のVVTとは異なり、CaM-VVTは視点に依存しないテクスチャ幻覚を必要とするだけでなく、任意で制約のないカメラの動きの下で、非厳密な人間力学と背景コンテキストの間の厳密な構造的同期も必要である。
これらの課題に対処するために、CaM-VVTタスク用に特別に設計されたDiTベースの統合フレームワークであるTryOnCrafterを紹介します。
暗黙的なピクセル空間操作とは別に、人間を環境から明示的に分離するRenderable 4D Try-on Proxyを導入する。
これは、高忠実度2Dトライオン前駆体を3DGSベースのアバターに蒸留し、SMPL-Xシーケンスでアニメーションし、メトリアライメントされた背景雲に配置することで達成される。
このプロキシは、優れたテクスチャ密度と動きの整合性を備えた堅牢な構造基盤を確立する。
我々のProxy-Anchored Video DiTは、この頑丈な構造基盤を一次幾何学的アンカーとして活用し、合成されたフォトリアリスティックビデオは、所定の軌道と物理的に妥当な変形によって厳格に制約されていることを保証します。
TryOnCrafterは、4Dプロキシの固有の編集性から恩恵を受け、人間の再ローカライゼーション、‘bullet time’効果、350ドルの軌道観測など、さまざまなダウンストリームアプリケーションを促進する。
関連論文リスト
- SimWorlds: A Multi-Agent System for Dynamic 3D Scene Creation [50.175987640001644]
テキストから動的に編集可能な4Dシーンを生成するマルチエージェントフレームワークであるSimWorldsを紹介する。
また,プロシージャのダイナミックな3Dシーンの視覚的忠実度と身体的整合性を評価するベンチマークである4DBuildBenchも導入した。
論文 参考訳（メタデータ） (2026-07-02T06:29:18Z) - RealMaster: Lifting Rendered Scenes into Photorealistic Video [55.04231137698114]
最先端のビデオ生成モデルは驚くべきフォトリアリズムを生み出すが、生成したコンテンツをシーン要求に合わせるために必要な正確な制御は欠如している。
本稿では,3Dエンジンの出力と完全な整合性を維持しつつ,映像拡散モデルを用いてレンダリング映像をフォトリアリスティックビデオに引き上げる手法であるRealMasterを提案する。
RealMasterは既存のビデオ編集のベースラインを大幅に上回り、ジオメトリ、ダイナミックス、アイデンティティを元の3Dコントロールで指定しながら、フォトリアリズムを改善している。
論文 参考訳（メタデータ） (2026-03-24T17:32:42Z) - Articulat3D: Reconstructing Articulated Digital Twins From Monocular Videos with Geometric and Motion Constraints [21.83046776294786]
Articulat3Dは、カジュアルにキャプチャされたモノクロビデオからデジタルツインを構築する新しいフレームワークである。
まず,3次元の軌跡を利用して調音運動の低次元構造を利用する動き優先初期化を提案する。
次に、物理的に可算な調音を強制する幾何学的・運動的制約(Geometric and Motion Constraints Refinement)を導入する。
実験により、Articulat3Dは、合成ベンチマークと現実世界のカジュアルにキャプチャされたモノクロビデオで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2026-03-12T06:59:44Z) - RoamScene3D: Immersive Text-to-3D Scene Generation via Adaptive Object-aware Roaming [79.81527946524098]
RoamScene3Dはセマンティックガイダンスと空間生成のギャップを埋める新しいフレームワークである。
我々は、オブジェクト関係を符号化するシーングラフを構築するために、視覚言語モデル(VLM)を用いる。
静的な2Dプリミティブの制約を軽減するため、合成パノラマデータセットに微調整されたモーションインジェクトインペインティングモデルを導入する。
論文 参考訳（メタデータ） (2026-01-27T10:10:55Z) - FreeOrbit4D: Training-Free Arbitrary Camera Redirection for Monocular Videos via Geometry-Complete 4D Reconstruction [40.47706321464456]
FreeOrbit4Dは、ビデオ生成のための構造的基盤として、幾何学的完全4Dプロキシを復元することで、幾何学的曖昧さに対処する効果的なトレーニングフリーフレームワークである。
我々の実験によると、FreeOrbit4Dは、大角リダイレクトビデオに挑戦して、より忠実なビデオを生成する。
論文 参考訳（メタデータ） (2026-01-26T22:03:46Z) - 3DProxyImg: Controllable 3D-Aware Animation Synthesis from Single Image via 2D-3D Aligned Proxy Embedding [46.75707405618843]
外観合成から幾何学的制御を分離する軽量な3Dアニメーションフレームワークを提案する。
提案手法は,低消費電力プラットフォーム上での効率的なアニメーション生成を実現する。
論文 参考訳（メタデータ） (2025-12-17T06:38:07Z) - SEE4D: Pose-Free 4D Generation via Auto-Regressive Video Inpainting [83.5106058182799]
SEE4Dは, カジュアルビデオから4次元世界モデリングを行うための, ポーズのないトラジェクトリ・ツー・カメラ・フレームワークである。
モデル内のビュー条件ビデオは、現実的に合成された画像を認知する前に、ロバストな幾何学を学ぶために訓練される。
クロスビュービデオ生成とスパース再構成のベンチマークでSee4Dを検証した。
論文 参考訳（メタデータ） (2025-10-30T17:59:39Z) - Restage4D: Reanimating Deformable 3D Reconstruction from a Single Video [56.781766315691854]
ビデオ条件付き4D再生のための幾何学保存パイプラインである textbfRestage4D を紹介する。
DAVIS と PointOdyssey 上のRestage4D の有効性を検証し,幾何整合性,運動品質,3次元追跡性能の向上を実証した。
論文 参考訳（メタデータ） (2025-08-08T21:31:51Z) - TC4D: Trajectory-Conditioned Text-to-4D Generation [94.90700997568158]
提案するTC4D: trajectory-conditioned text-to-4D 生成は,グローバルおよびローカルなコンポーネントへの移動を要因とする。
我々は,テキスト・ビデオ・モデルから,グローバルな軌跡に適合する局所的な変形を観察する。
提案手法は,任意の軌跡に沿ってアニメーションされたシーンの合成,構成シーンの生成,および生成した動きのリアリズムと量に対する大幅な改善を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。