論文の概要: BooM-VVT: Boosting Mask-Free Video Virtual Try-On with Image-Level Pseudo Data
- arxiv url: http://arxiv.org/abs/2609.04120v1
- Date: Thu, 03 Sep 2026 17:22:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.182957
- Title: BooM-VVT: Boosting Mask-Free Video Virtual Try-On with Image-Level Pseudo Data
- Title（参考訳）: BooM-VVT:画像レベルのPseudoデータによるマスクなしビデオバーチャルトライオンの強化
- Abstract要約: ビデオバーチャルトライオン(VVT)は、ターゲットの服を着ている人のリアルなビデオを生成することを目的としている。
近年の手法では、a-drivenビデオ生成のパラダイムを利用して、Wildのパフォーマンスを改善するが、トライオン領域のローカライズにはマスクを頼っている。
本稿では,このパラダイムに基づくマスクフリーVVTフレームワークBoo-M-VVTを提案する。
- 参考スコア（独自算出の注目度）: 16.374416879388352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video virtual try-on (VVT) aims to generate realistic videos of a person wearing a target garment. Recent methods leverage a keyframe-driven video generation paradigm to improve in-the-wild performance, yet they still rely on masks to localize try-on regions, making them vulnerable to large motions and severe occlusions. Although mask-free image-based try-on methods have shown promising results by leveraging large-scale pseudo data, extending this paradigm to videos remains difficult, as constructing video-level pseudo data is prohibitively expensive. Furthermore, coarse keyframe sampling and the scarcity of multi-view try-on data limit existing keyframe-driven methods in maintaining garment consistency and handling diverse try-on tasks. To address these challenges, we propose BooM-VVT, a mask-free VVT framework built upon the keyframe-driven paradigm. To achieve mask-free VVT, we introduce a multi-stage training strategy that leverages image-level pseudo data for mask-free localization learning, substantially reducing the need for costly video-level pseudo data. To improve garment consistency, we propose Garment-Sensitive Keyframe Sampling, which selects keyframes based on garment-relevant body regions to better capture garment appearance. We further introduce Frame-Shared 3D-RoPE to establish spatiotemporal correspondences between keyframes and target video frames for accurate garment-detail transfer. Finally, we construct OmniView, a large-scale multi-view try-on dataset to support reliable try-on video generation under complex camera viewpoints and diverse try-on tasks. Extensive experiments demonstrate that BooM-VVT achieves superior temporal consistency and garment fidelity over existing methods. Project page: https://boomvvt.github.io/boomvvt.
- Abstract（参考訳）: Video Virtual try-on (VVT)は、ターゲットの服を着ている人のリアルなビデオを生成することを目的としている。
近年の手法では、キーフレーム駆動のビデオ生成パラダイムを活用して、Wildのパフォーマンスを向上させるが、トライオン領域のローカライズにはマスクを頼りにしており、大きな動きや重度のオクルージョンに対して脆弱である。
マスクのない画像ベースの試行法では,大規模な擬似データを活用することで有望な結果が得られたが,ビデオレベルの擬似データの構築は違法に高価であるため,このパラダイムをビデオに拡張することは依然として困難である。
さらに、粗いキーフレームサンプリングとマルチビュートライオンデータの不足により、衣料品の一貫性を維持し、多様な試行タスクを処理するために、既存のキーフレーム駆動のメソッドが制限される。
これらの課題に対処するため,キーフレーム駆動のパラダイムに基づくマスクフリーVVTフレームワークBooM-VVTを提案する。
マスクフリーなVVTを実現するために、マスクフリーなローカライゼーション学習に画像レベルの擬似データを活用するマルチステージトレーニング戦略を導入し、コストのかかるビデオレベルの擬似データの必要性を大幅に低減する。
衣服の整合性を改善するために,衣服関連身体領域に基づく鍵フレームの選択を行い,衣服の外観をよりよく把握するGarment-Sensitive Keyframe Smplingを提案する。
さらに、フレーム共有3D-RoPEを導入し、キーフレームとターゲットビデオフレームの時空間対応性を確立して、正確な衣料品の転送を行う。
最後に、複雑なカメラ視点と多様な試行タスクの下で、信頼性の高い試行ビデオ生成をサポートする大規模なマルチビュー試行データセットであるOmniViewを構築した。
BooM-VVTは既存の方法よりも時間的一貫性と衣服の忠実性に優れることを示した。
プロジェクトページ: https://boomvt.github.io/boomvvt.com
関連論文リスト
- UniVVT: A Unified End-to-End Framework for High-Fidelity Video Virtual Try-on [21.69586852578892]
Video Virtual Try-On (VVT)は、ターゲットの服装を身に着けている人の映像を合成し、アイデンティティ、モーション、シーンのダイナミクスを保存している。
伝統的なアプローチでは、VVTはマスク付きビデオのインペイントとして使われ、人間のパース、ポーズ推定、衣料品のワープのための別個のモジュールに依存していた。
我々は、VVTをセマンティック条件付きビデオ生成として再構成する統合エンドツーエンドフレームワークUniVVTを提案する。
論文 参考訳（メタデータ） (2026-08-06T08:29:47Z) - The devil is in the details: Enhancing Video Virtual Try-On via Keyframe-Driven Details Injection [90.30501870268911]
KeyTailorは、リアルな試用ビデオのための新しいフレームワークだ。
インストラクション誘導サンプリング戦略を用いて、入力ビデオから情報フレームをフィルタリングする。
我々のデータセットViT-HDは、15,070の高品質なビデオサンプルを810*1080の解像度で構成し、多様な衣服をカバーしている。
論文 参考訳（メタデータ） (2025-12-23T13:15:31Z) - FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。
この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。
Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。
従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
論文 参考訳（メタデータ） (2025-09-28T17:59:43Z) - DreamVVT: Mastering Realistic Video Virtual Try-On in the Wild via a Stage-Wise Diffusion Transformer Framework [26.661935208583756]
VVT(Virtual try-on)技術は、eコマース広告やエンターテイメントに将来性があるとして、学術的な関心を集めている。
本研究では,現実のシナリオにおける適応性を高めるために,多種多様な人間中心データを活用することが可能なDreamVVTを提案する。
第1段階では、入力ビデオから代表フレームをサンプリングし、視覚言語モデル(VLM)と統合された多フレーム試行モデルを用いて、高忠実で意味論的に整合した試行画像を合成する。
第2段階では、微粒な動きと外観記述とともに骨格図が作成される。
論文 参考訳（メタデータ） (2025-08-04T18:27:55Z) - MF-VITON: High-Fidelity Mask-Free Virtual Try-On with Minimal Input [69.33864837012202]
本研究では,一人のイメージとターゲット衣服のみを用いて,現実的なVITONを実現するMask-Free VITONフレームワークを提案する。
既存のMaskベースのVITONモデルを利用して高品質なデータセットを合成する。
このデータセットには、多様で現実的な人物画像とそれに対応する衣服が含まれており、背景も様々で、現実世界のシナリオを模倣している。
論文 参考訳（メタデータ） (2025-03-11T17:40:59Z) - Adaptive Keyframe Sampling for Long Video Understanding [75.7837692594814]
本稿では、適応鍵フレームサンプリング(AKS)という、単純だが効果的なアルゴリズムを提案する。
これはAdaptive Keyframe Sampling (AKS)と呼ばれるプラグインとプレイモジュールを挿入し、ビデオトークンの固定数で有用な情報を最大化することを目的としている。
2つの長いビデオ理解ベンチマークの実験は、AKSが情報的出会いを選択する際にビデオQA精度を改善することを検証する。
論文 参考訳（メタデータ） (2025-02-28T17:46:29Z) - CatV2TON: Taming Diffusion Transformers for Vision-Based Virtual Try-On with Temporal Concatenation [75.10635392993748]
視覚に基づく仮想試行(V2TON)方式であるCatV2TONを導入する。
CatV2TONは、衣服と人物の入力を時間的に結合し、画像とビデオのデータセットを混合してトレーニングすることにより、堅牢な試着性能を実現する。
また、背面フレームをフィルタリングし、3Dマスクのスムース化を施した精巧なビデオ試行データセットViViD-Sを提案する。
論文 参考訳（メタデータ） (2025-01-20T08:09:36Z) - SwiftTry: Fast and Consistent Video Virtual Try-On with Diffusion Models [10.66567645920237]
本研究の目的は,被服が時間的整合性を維持しつつ着ている新しい映像を合成することである。
我々は,映像仮想試着を条件付き映像塗装作業として再認識し,衣服を入力条件として機能させる。
具体的には,時間的注意層を取り入れた画像拡散モデルを構築し,時間的コヒーレンスを改善する。
論文 参考訳（メタデータ） (2024-12-13T14:50:26Z) - PEMF-VTO: Point-Enhanced Video Virtual Try-on via Mask-free Paradigm [21.1235226974745]
Video Virtual Try-onは、ビデオ内の対象人物に参照服をシームレスに転送することを目的としている。
既存の手法は通常、試着領域を定義するために塗装マスクに依存している。
そこで我々は,PEMF-VTO(Point-Enhanced Mask-Free Video Virtual Try-On)を提案する。
論文 参考訳（メタデータ） (2024-12-04T04:24:15Z) - WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。
従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。
衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。
私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
論文 参考訳（メタデータ） (2024-07-15T11:21:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。