論文の概要: AlcheMinT: Fine-grained Temporal Control for Multi-Reference Consistent Video Generation
- arxiv url: http://arxiv.org/abs/2512.10943v1
- Date: Thu, 11 Dec 2025 18:59:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-12 16:15:42.569238
- Title: AlcheMinT: Fine-grained Temporal Control for Multi-Reference Consistent Video Generation
- Title（参考訳）: AlcheMinT:マルチ参照一貫性ビデオ生成のための微細時間制御
- Abstract要約: 本稿では、被験者駆動ビデオ生成のための明示的なタイムスタンプ条件付きフレームワークAlcheMinTを提案する。
提案手法では,時間間隔の符号化を解き放つ新しい位置符号化機構を導入する。
我々は、視覚的アイデンティティとビデオキャプションの結合を強化するために、主観記述型テキストトークンを導入し、世代間あいまいさを緩和する。
- 参考スコア（独自算出の注目度）: 58.844504598618094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in subject-driven video generation with large diffusion models have enabled personalized content synthesis conditioned on user-provided subjects. However, existing methods lack fine-grained temporal control over subject appearance and disappearance, which are essential for applications such as compositional video synthesis, storyboarding, and controllable animation. We propose AlcheMinT, a unified framework that introduces explicit timestamps conditioning for subject-driven video generation. Our approach introduces a novel positional encoding mechanism that unlocks the encoding of temporal intervals, associated in our case with subject identities, while seamlessly integrating with the pretrained video generation model positional embeddings. Additionally, we incorporate subject-descriptive text tokens to strengthen binding between visual identity and video captions, mitigating ambiguity during generation. Through token-wise concatenation, AlcheMinT avoids any additional cross-attention modules and incurs negligible parameter overhead. We establish a benchmark evaluating multiple subject identity preservation, video fidelity, and temporal adherence. Experimental results demonstrate that AlcheMinT achieves visual quality matching state-of-the-art video personalization methods, while, for the first time, enabling precise temporal control over multi-subject generation within videos. Project page is at https://snap-research.github.io/Video-AlcheMinT
- Abstract（参考訳）: 大規模な拡散モデルによる映像生成の最近の進歩により、ユーザ提供者に対してパーソナライズされたコンテンツ合成が可能になった。
しかし、既存の手法では、合成ビデオ合成、ストーリーボード、制御可能なアニメーションなどの応用に欠かせない、被写体や消失に対する微妙な時間的制御が欠如している。
本稿では、被験者駆動ビデオ生成のための明示的なタイムスタンプ条件付きフレームワークAlcheMinTを提案する。
提案手法では,時間間隔の符号化の鍵を解除する新しい位置符号化機構を導入し,予め訓練された映像生成モデルとシームレスに統合する。
さらに、視覚的アイデンティティとビデオキャプションの結合を強化するために、主観記述型テキストトークンを導入し、世代間あいまいさを緩和する。
トークンの結合を通じて、AlcheMinTは追加のクロスアテンションモジュールを避け、無視可能なパラメータオーバーヘッドを発生させる。
我々は,複数の主題のアイデンティティの保存,映像の忠実度,時間的定着度を評価するベンチマークを構築した。
実験結果から,AlcheMinTは,映像中の複数オブジェクト生成の正確な時間的制御を実現すると同時に,最先端の映像パーソナライズ手法の視覚的品質マッチングを実現することが示された。
プロジェクトページはhttps://snap-research.github.io/Video-AlcheMinTにある。
関連論文リスト
- Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation [28.493796603648175]
Vorch-IRは、シングルモデルとデュアルパーソンのアイデンティティ置換をサポートする統一フレームワークで、オプションのバックグラウンド置換を単一のモデルでサポートする。
LTX2上に構築されたVorch-IRは、駆動ビデオ、インデックス付き参照画像、テキスト編集命令を共同で行う。
自動測定とペアワイズ人間評価を用いた実験は, 多様なシナリオにおける強いアイデンティティ保存, 動きの忠実度, 時間的コヒーレンスを示す。
論文 参考訳（メタデータ） (2026-08-06T06:46:35Z) - Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment [20.811984469709508]
Auraは、高忠実でアイデンティティに一貫性のあるビデオ生成のための統一されたフレームワークである。
本稿では,映像コンテンツの密度と構造を記述したAIディレクターレベルのキャプションを紹介する。
専用データ構築パイプラインを通じて高品質なビデオオブジェクト画像データセットを構築する。
論文 参考訳（メタデータ） (2026-07-05T13:54:33Z) - MAVIN: Multi-Shot Audio-Visual Generation with Narrative Control [66.04301887685004]
既存の手法は、時間的ミスアライメント、制限された制御性、不完全なスクリプティングに悩まされている。
我々は、カスタマイズされた物語制御によるマルチショット映像生成のための最初のフレームワークであるMAVINを提案する。
MAVINは最先端のパフォーマンスを実現し、生成モデルをプロの映画製作に組み込む新たな道を開く。
論文 参考訳（メタデータ） (2026-06-28T16:01:04Z) - Spatial-Temporal Decoupled Reference Conditioning for Identity-Preserving Text-to-Video Generation [79.94088803584262]
アイデンティティ保存ビデオ生成(IPVG)は、参照IDを保持しながらテキストプロンプトに従う高忠実度ビデオの合成を目的としている。
そこで我々は,ST-DRCを提案する。ST-DRCは,個人認証を保存したテキスト・ビデオ生成のための効果的な空間的疎結合参照条件作成フレームワークである。
LTX-2.3 上に構築した軽量な設計により,ST-DRC は強いアイデンティティ保存,迅速なアライメント,時間的整合性,映像品質を実現する。
論文 参考訳（メタデータ） (2026-06-01T16:12:18Z) - Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation [40.694968116482315]
Inference-time, plug-and-play法であるPrompt Relayを提案する。
Prompt Relayは、各時間セグメントが割り当てられたプロンプトにのみ参加するように、クロスアテンションメカニズムにペナルティを導入する。
論文 参考訳（メタデータ） (2026-04-11T04:59:06Z) - CounterVid: Counterfactual Video Generation for Mitigating Action and Temporal Hallucinations in Video-Language Models [66.56549019393042]
ビデオ言語モデル(VLM)は、強いマルチモーダル理解を実現するが、特に行動や時間秩序を推論する場合、幻覚を起こす傾向にある。
本稿では,シーンコンテキストを保ちながら,アクションや時間構造が異なる映像を合成する,対物映像生成のためのスケーラブルなフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-08T10:03:07Z) - ContextAnyone: Context-Aware Diffusion for Character-Consistent Text-to-Video Generation [36.29956463871403]
テキスト・ツー・ビデオ(T2V)生成は急速に進歩しているが、シーン間で一貫した文字のアイデンティティを維持することは大きな課題である。
テキストと単一の参照画像から文字一貫性のある映像を生成するコンテキスト対応拡散フレームワークである textbfContextAnyone を提案する。
提案手法は,参照画像を共同で再構成し,新しいビデオフレームを生成する。
論文 参考訳（メタデータ） (2025-12-08T09:12:18Z) - When and What: Diffusion-Grounded VideoLLM with Entity Aware Segmentation for Long Video Understanding [12.410012029024342]
我々は,3つの重要なイノベーションを導入することで,制限を克服するビデオLLMであるGrounded VideoDiTを紹介する。
第一に、拡散時間遅延(DTL)エンコーダは境界感度を高め、時間的一貫性を維持する。
第二に、オブジェクト基底表現は、クエリエンティティを局所化された視覚的エビデンスに明示的に結合し、アライメントを強化する。
第三に、離散時間的タイムスタンプトークンを持つ混合トークンスキームは明示的なモデリングを提供し、きめ細かい時間的推論を可能にする。
論文 参考訳（メタデータ） (2025-08-21T15:12:14Z) - MAGREF: Masked Guidance for Any-Reference Video Generation with Subject Disentanglement [47.064467920954776]
我々は、任意の参照ビデオ生成のための統一的で効果的なフレームワークであるMAGREFを紹介する。
提案手法は,マスキング誘導と主観的ゆがみ機構を取り入れたものである。
包括的なベンチマークの実験は、MAGREFが既存の最先端のアプローチを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2025-05-29T17:58:15Z) - VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。
本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
論文 参考訳（メタデータ） (2023-12-17T09:05:56Z) - MagDiff: Multi-Alignment Diffusion for High-Fidelity Video Generation and Editing [90.06041718086317]
我々は、高忠実度ビデオ生成と編集の両方のタスクに対して、MagDiffと呼ばれる統合多重配位拡散を提案する。
提案したMagDiffは、主観駆動アライメント、適応プロンプトアライメント、高忠実アライメントを含む3種類のアライメントを導入している。
論文 参考訳（メタデータ） (2023-11-29T03:36:07Z) - VideoDreamer: Customized Multi-Subject Text-to-Video Generation with Disen-Mix Finetuning on Language-Video Foundation Models [43.46536102838717]
VideoDreamerは、カスタマイズされたマルチオブジェクトのテキスト・ツー・ビデオ生成のための新しいフレームワークである。
与えられた複数の被験者の視覚的特徴を忠実に保存する、時間的に一貫したテキスト誘導ビデオを生成することができる。
論文 参考訳（メタデータ） (2023-11-02T04:38:50Z) - LatentWarp: Consistent Diffusion Latents for Zero-Shot Video-to-Video
Translation [21.815083817914843]
我々はtextitLatentWarp というゼロショット動画翻訳フレームワークを提案する。
我々のアプローチは単純で、クエリトークンの時間的一貫性を制約するために、潜伏した空間にワープ操作を組み込む。
textitLatentWarpの時間的コヒーレンスによるビデオ間翻訳における優位性を示す実験結果を得た。
論文 参考訳（メタデータ） (2023-11-01T08:02:57Z) - VideoComposer: Compositional Video Synthesis with Motion Controllability [52.4714732331632]
VideoComposerを使えば、ユーザーはテキストの条件や空間的条件、さらに重要な時間的条件でビデオを柔軟に組み立てることができる。
圧縮ビデオからの運動ベクトルを明示的な制御信号として導入し、時間的ダイナミクスに関するガイダンスを提供する。
さらに、逐次入力の空間的・時間的関係を効果的に組み込むために、統一インターフェースとして機能する時空間条件エンコーダ(STC-エンコーダ)を開発した。
論文 参考訳（メタデータ） (2023-06-03T06:29:02Z) - Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation [55.36617538438858]
本研究では,空間的知覚と時間的知覚の相互作用を強化する新しいアプローチを提案する。
我々はHD-VG-130Mという大規模かつオープンソースのビデオデータセットをキュレートする。
論文 参考訳（メタデータ） (2023-05-18T11:06:15Z) - Towards Smooth Video Composition [59.134911550142455]
ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。
本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。
単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
論文 参考訳（メタデータ） (2022-12-14T18:54:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。