論文の概要: InstructVVT: Instruction-Driven Video Virtual Try-On without Auxiliary Spatial Priors
- arxiv url: http://arxiv.org/abs/2608.14070v1
- Date: Fri, 14 Aug 2026 08:26:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.326117
- Title: InstructVVT: Instruction-Driven Video Virtual Try-On without Auxiliary Spatial Priors
- Title（参考訳）: InstructVVT: 補助的空間的優先順位を持たないインストラクション駆動型仮想トライオン
- Abstract要約: InstructVVTは命令駆動および参照誘導ビデオ仮想試行フレームワークである。
InstructVVTは、衣服の忠実さ、構造保存、時間的一貫性において、最先端のオープンソース手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 47.314679133060274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video virtual try-on is a highly constrained editing task requiring the precise replacement of a target person's clothing while strictly preserving the original video's spatial structure and temporal dynamics. Existing methods heavily rely on auxiliary handcrafted spatial priors (e.g., masks, poses) for editing control. However, these priors are prone to failure in unconstrained real-world videos and often compress rich visual context into incomplete structural signals. Furthermore, standard reconstruction objectives fail to fully capture try-on-specific human preferences. To address these challenges, we propose InstructVVT, an instruction-driven and reference-guided video virtual try-on framework based on a Diffusion Transformer (DiT) that operates without inference-time spatial priors. Our core insight is to recover fine-grained control directly from the input triplet (source video, reference garment, and instruction) via a dual-level reference conditioning scheme. Specifically, an MLLM infers semantic edit tokens for target disambiguation and structural preservation, while a lightweight conditioning pathway explicitly injects fine-grained visual garment details. Finally, we design a try-on-specific reward and utilize the DiffusionNFT algorithm to align the model with human preferences. Extensive experiments on ViViD-S and TripVVT-Bench demonstrate that InstructVVT outperforms state-of-the-art open-source methods in garment fidelity, structural preservation, and temporal consistency, despite requiring fewer inference-time controls.
- Abstract（参考訳）: ビデオ仮想試行は、オリジナルビデオの空間構造と時間的ダイナミクスを厳格に保ちながら、対象者の衣服を正確に交換する必要がある高度に制約された編集作業である。
既存の手法は、編集制御のための補助的な手作り空間先行(例えば、マスク、ポーズ)に大きく依存している。
しかし、これらの先行は、制約のない実世界のビデオでは失敗しがちであり、リッチな視覚的コンテキストを不完全な構造信号に圧縮することが多い。
さらに、標準的な再建目的は、試行錯誤特有の人間の嗜好を完全に把握することができない。
これらの課題に対処するために,Diffusion Transformer (DiT) に基づく命令駆動および参照誘導型仮想試行フレームワークであるInstructVVTを提案する。
我々の中核となる洞察は、入力三重項(ソース・ビデオ、リファレンス・ウェア、インストラクション)から直接、二重レベル参照条件スキームを介してきめ細かな制御を復元することである。
具体的には、MLLMは、目的の曖昧さと構造的保存のために意味的な編集トークンを推論し、軽量な条件付け経路は、きめ細かい視覚的な衣服の詳細を明示的に注入する。
最後に、試行固有の報酬を設計し、DiffusionNFTアルゴリズムを用いて、モデルを人間の好みに合わせる。
ViViD-S と TripVVT-Bench に関する大規模な実験により、InstructVVT は推論時間制御の少ないにもかかわらず、衣服の忠実さ、構造的保存、時間的一貫性において最先端のオープンソース手法より優れていることが示された。
関連論文リスト
- UniVVT: A Unified End-to-End Framework for High-Fidelity Video Virtual Try-on [21.69586852578892]
Video Virtual Try-On (VVT)は、ターゲットの服装を身に着けている人の映像を合成し、アイデンティティ、モーション、シーンのダイナミクスを保存している。
伝統的なアプローチでは、VVTはマスク付きビデオのインペイントとして使われ、人間のパース、ポーズ推定、衣料品のワープのための別個のモジュールに依存していた。
我々は、VVTをセマンティック条件付きビデオ生成として再構成する統合エンドツーエンドフレームワークUniVVTを提案する。
論文 参考訳（メタデータ） (2026-08-06T08:29:47Z) - STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models [81.32710031596591]
ビデオ推論タスクには、動きの追跡、時間順、フレーム全体の視覚状態の進化が必要である。
視覚言語モデル(LVLM)上に構築された既存の手法はしばしば、チェーン・オブ・ソート(CoT)を通じて推論を外部化することでこの問題に対処する。
STORMSは,LVLMに明示的なテキストCoTではなく,有界な連続的な潜在軌道を推論する2段階のフレームワークである。
論文 参考訳（メタデータ） (2026-05-25T16:33:00Z) - Compositional Video Generation via Inference-Time Guidance [69.53614395025632]
テキストからビデオへの拡散モデルは、しばしば構成的理解を必要とするプロンプトで失敗する。
凍結したテキスト・ビデオモデルにおける合成忠実度を改善するための推定時間誘導法であるtextbfCVG を提案する。
論文 参考訳（メタデータ） (2026-05-14T15:50:25Z) - VIRST: Video-Instructed Reasoning Assistant for SpatioTemporal Segmentation [6.447274127678917]
Video Video Object (RVOS) は、自然言語による記述に基づいて、対象物をビデオに分割することを目的としている。
VIRST(Video-Instructed Reasoning Assistant for Spatio-Temporal)は,グローバルなビデオ推論と画素レベルのマスク予測を単一のモデルで統合するエンドツーエンドフレームワークである。
論文 参考訳（メタデータ） (2026-03-28T00:34:15Z) - SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing [76.349958946335]
本稿では,映像編集をセマンティックアンカーとモーションモデリングに分解するフレームワークであるSAMA(factorized Semantic Anchoring and Motion Alignment)を提案する。
まずセマンティックアンカリング(Semantic Anchoring)を導入し、スパースアンカフレームでのセマンティックトークンとビデオ潜在者を共同で予測することで、信頼性の高い視覚アンカを確立する。
第2に、モーションアライメントは同じバックボーンをモーション中心のビデオ復元のプリテキストタスクで事前トレーニングする。
論文 参考訳（メタデータ） (2026-03-19T17:59:51Z) - PVI: Plug-in Visual Injection for Vision-Language-Action Models [8.641415997612066]
事前訓練されたVLMとフローマッチングアクションエキスパートを組み合わせたVLAは、言語条件による操作の強力なパラダイムとして登場した。
このモジュールは、訓練済みのアクションエキスパートにアタッチされ、ゼロd残差経路を介して補助的な視覚表現を注入する。
論文 参考訳（メタデータ） (2026-03-13T08:16:53Z) - PropFly: Learning to Propagate via On-the-Fly Supervision from Pre-trained Video Diffusion Models [35.59605874012795]
PropFlyは、伝搬ベースのビデオ編集のためのトレーニングパイプラインである。
PropFlyはトレーニング済みのビデオ拡散モデル(VDM)に依存している。
我々のパイプラインは、事前訓練されたVDMにアタッチされたアダプタが、誘導変調フローマッチング(GMFM)損失を介して編集を伝達することを学ぶことを可能にする。
論文 参考訳（メタデータ） (2026-02-24T06:11:08Z) - A Reason-then-Describe Instruction Interpreter for Controllable Video Generation [88.95178842901095]
本稿では,生の命令をダウンストリームビデオジェネレータの正確な動作可能な仕様に変換する汎用型モデル非依存インタプリタReaDeを提案する。
命令忠実度,キャプション精度,下流映像品質が一貫した向上を示した。
論文 参考訳（メタデータ） (2025-11-25T17:59:07Z) - PEMF-VTO: Point-Enhanced Video Virtual Try-on via Mask-free Paradigm [21.1235226974745]
Video Virtual Try-onは、ビデオ内の対象人物に参照服をシームレスに転送することを目的としている。
既存の手法は通常、試着領域を定義するために塗装マスクに依存している。
そこで我々は,PEMF-VTO(Point-Enhanced Mask-Free Video Virtual Try-On)を提案する。
論文 参考訳（メタデータ） (2024-12-04T04:24:15Z) - Betrayed by Attention: A Simple yet Effective Approach for Self-supervised Video Object Segmentation [76.68301884987348]
自己教師型ビデオオブジェクトセグメンテーション(VOS)のための簡易かつ効果的なアプローチを提案する。
我々の重要な洞察は、DINO-pretrained Transformerに存在する構造的依存関係を利用して、ビデオ内の堅牢な時間分割対応を確立することである。
提案手法は,複数の教師なしVOSベンチマークにまたがる最先端性能を実証し,複雑な実世界のマルチオブジェクトビデオセグメンテーションタスクに優れることを示す。
論文 参考訳（メタデータ） (2023-11-29T18:47:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。