論文の概要: Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation
- arxiv url: http://arxiv.org/abs/2608.05648v1
- Date: Thu, 06 Aug 2026 06:46:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.827633
- Title: Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation
- Title（参考訳）: Vorch-IR: 長期統合マルチモーダル・アイデンティティ・リプレース・ビデオ・ジェネレーション
- Abstract要約: Vorch-IRは、シングルモデルとデュアルパーソンのアイデンティティ置換をサポートする統一フレームワークで、オプションのバックグラウンド置換を単一のモデルでサポートする。
LTX2上に構築されたVorch-IRは、駆動ビデオ、インデックス付き参照画像、テキスト編集命令を共同で行う。
自動測定とペアワイズ人間評価を用いた実験は, 多様なシナリオにおける強いアイデンティティ保存, 動きの忠実度, 時間的コヒーレンスを示す。
- 参考スコア（独自算出の注目度）: 28.493796603648175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video identity replacement seeks to transfer the identities of one or more subjects while preserving the motion, expressions, and temporal structure of a driving video. Existing methods largely target single-person settings and often require task-specific structural controls, such as masks or pose representations, limiting their flexibility in general multimodal editing systems. Progress on multi-person replacement is further constrained by the scarcity of paired training data. We present Vorch-IR, a unified framework that supports single- and dual-person identity replacement, with optional background replacement, in a single model. Built on LTX2, Vorch-IR jointly conditions on a driving video, indexed reference images, and a textual editing instruction. The reference images need not match the pose, layout, or spatial configuration of the driving video: their roles as subject or background references are specified through the instruction. Dense visual conditions are fused through self-attention, while a vision-language context establishes semantic correspondence through cross-attention. We further develop an automatic data construction pipeline that synthesizes paired supervision for all four editing settings. Experiments using automatic metrics and pairwise human evaluation demonstrate strong identity preservation, motion fidelity, and temporal coherence across diverse scenarios. A temporal overlapping inference strategy additionally extends the short-clip model to minute-long generation without autoregressive continuation.
- Abstract（参考訳）: ビデオアイデンティティー置換は、運転映像の動作、表情、時間構造を保存しながら、1つ以上の被験者のアイデンティティーを転送しようとする。
既存の方法は、主にシングルパーソンの設定をターゲットにしており、マスクやポーズ表現のようなタスク固有の構造制御を必要とすることが多く、一般的なマルチモーダル編集システムにおける柔軟性を制限している。
多人数交代の進展は、ペア化されたトレーニングデータの不足によってさらに制限される。
Vorch-IRは、1つのモデルで1対2のアイデンティティ置換とオプションのバックグラウンド置換をサポートする統合フレームワークである。
LTX2上に構築されたVorch-IRは、駆動ビデオ、インデックス付き参照画像、テキスト編集命令を共同で行う。
参照画像は、ドライビングビデオのポーズ、レイアウト、空間構成にマッチする必要はない。
複雑な視覚条件は自己意図によって融合し、視覚言語コンテキストは相互意図を通して意味的対応を確立する。
さらに、4つの編集設定すべてに対してペア化された監視を合成する自動データ構築パイプラインを開発する。
自動測定とペアワイズ人間評価を用いた実験は, 多様なシナリオにおける強いアイデンティティ保存, 動きの忠実度, 時間的コヒーレンスを示す。
時間重なり合う推論戦略は、自己回帰的継続を伴わずにショートクリップモデルを分長生成に拡張する。
関連論文リスト
- Vorch-Omni: Multi-Task Orchestration of Sight and Sound [51.39284238118125]
Vorch-Omniは任意の条件から任意言語への定式化に基づく音声・視覚合成のための統一されたフレームワークである。
ビデオや音声の信号を入力や生成ターゲットの条件付けとして柔軟に扱う。
テキスト・トゥ・ビデオ、テキスト・トゥ・オーディオ・ビデオ、イメージ・アンド・レファレンス・コンディショナード・ジェネレーション、時間拡張、音声駆動生成、ビデオ変換、オーディオ・ビジュアル編集を含む10以上のタスクをサポートする。
論文 参考訳（メタデータ） (2026-08-06T09:38:30Z) - GroupVideo: Multi-Identity Customized Text-to-Video Generation [53.89036635198158]
GroupVideoは、複数の個人写真を利用して、アイデンティティをカスタマイズしたビデオを生成する新しいフレームワークである。
GroupVideoにはマルチモーダルなアイデンティティアライメントが組み込まれており、セマンティックアライメントは動きの自然性を高めるセマンティックな知覚を導入している。
マルチIDビデオデータセットが不足しているため、我々は20,000のビデオの包括的な高品質なデータセットをキュレートした。
論文 参考訳（メタデータ） (2026-07-23T08:09:04Z) - Keyframe-Anchored Identity Preservation for Sequential-Action Video Generation [10.89407870318018]
IPVG26チャレンジは、このフレームワークを単一の全体的プロンプトから時間的に構造化された仕様まで拡張している。
この時間構造は、以前のアイデンティティ保存生成タスクで遭遇しなかった課題を示す。
私たちはこの課題に,トレーニング不要で3段階のパイプラインフレームワークで対処しています。
論文 参考訳（メタデータ） (2026-07-20T14:16:49Z) - Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment [20.811984469709508]
Auraは、高忠実でアイデンティティに一貫性のあるビデオ生成のための統一されたフレームワークである。
本稿では,映像コンテンツの密度と構造を記述したAIディレクターレベルのキャプションを紹介する。
専用データ構築パイプラインを通じて高品質なビデオオブジェクト画像データセットを構築する。
論文 参考訳（メタデータ） (2026-07-05T13:54:33Z) - AlcheMinT: Fine-grained Temporal Control for Multi-Reference Consistent Video Generation [58.844504598618094]
本稿では、被験者駆動ビデオ生成のための明示的なタイムスタンプ条件付きフレームワークAlcheMinTを提案する。
提案手法では,時間間隔の符号化を解き放つ新しい位置符号化機構を導入する。
我々は、視覚的アイデンティティとビデオキャプションの結合を強化するために、主観記述型テキストトークンを導入し、世代間あいまいさを緩和する。
論文 参考訳（メタデータ） (2025-12-11T18:59:34Z) - MultiShotMaster: A Controllable Multi-Shot Video Generation Framework [67.38203939500157]
現在の生成技術はシングルショットクリップで優れているが、物語的なマルチショットビデオを作成するのに苦労している。
高度に制御可能なマルチショットビデオ生成のためのフレームワークであるMultiShotMasterを提案する。
論文 参考訳（メタデータ） (2025-12-02T18:59:48Z) - CtrlVDiff: Controllable Video Generation via Unified Multimodal Video Diffusion [62.04833878126661]
統合拡散フレームワークにおける映像理解と制御可能な映像生成という2つの課題に対処する。
CtrlVDiffは、Hybrid Modality Control Strategy(HMCS)で訓練された統合拡散モデルであり、深度、正規度、セグメンテーション、エッジ、グラフィックベースの内在性(アルベド、粗さ、金属)から特徴を導出し、融合する。
理解と生成のベンチマーク全体にわたって、CtrlVDiffは優れた制御性と忠実さを提供し、レイヤワイズな編集(リライティング、材料調整、オブジェクト挿入)と最先端のベースラインを越えながら、いくつかのモダリティが利用できない場合の堅牢性を維持している。
論文 参考訳（メタデータ） (2025-11-26T07:27:11Z) - ID-Composer: Multi-Subject Video Synthesis with Hierarchical Identity Preservation [48.59900036213667]
大規模なデータセットで事前訓練されたビデオ生成モデルは高品質なビデオを生成することができるが、テキストや単一の画像に条件付けされることも多い。
本稿では,テキストプロンプトと参照画像から多目的映像を生成する新しいフレームワークであるID-Composerを紹介する。
論文 参考訳（メタデータ） (2025-11-01T11:29:14Z) - Proteus-ID: ID-Consistent and Motion-Coherent Video Customization [17.792780924370103]
ビデオアイデンティティのカスタマイズは、単一の参照画像とテキストプロンプトを与えられた特定の主題の現実的で時間的に整合したビデオを合成しようとする。
この課題は、説明された外観や動作と整合しながらアイデンティティの整合性を維持すること、非現実的な剛性のない自然な流体運動を生成することである。
Proteus-IDは、アイデンティティ一貫性とモーションコヒーレントなビデオカスタマイズのための、新しい拡散ベースのフレームワークである。
論文 参考訳（メタデータ） (2025-06-30T11:05:32Z) - Identity-Aware Multi-Sentence Video Description [105.13845996039277]
本稿では,一組のクリップ内に一貫した人物の身元を予測することを目的とした,身元確認の補助的タスクを提案する。
鍵となるコンポーネントの1つは、性別を意識したテキスト表現であり、メインモデルにおける追加の性別予測目標である。
実験の結果,提案したフィリング・イン・ザ・アイデンティティ・モデルは,いくつかのベースラインや最近の研究よりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-08-22T09:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。