論文の概要: TokenStream: Multi-Subject Personalized Video Generation with Token-wise LoRA and Guided Attention
- arxiv url: http://arxiv.org/abs/2611.16897v1
- Date: Thu, 12 Nov 2026 14:54:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.491711
- Title: TokenStream: Multi-Subject Personalized Video Generation with Token-wise LoRA and Guided Attention
- Title(参考訳): TokenStream:token-wise LoRAとガイド付きアテンションを備えた多目的パーソナライズドビデオ生成
- Abstract要約: TokenStreamは、テキスト・ビデオ生成において、独立した学習対象のアイデンティティを構成する。
LoRAは、主題関連テキストトークンのクロスアテンション値プロジェクションに対する低ランク更新を制限する。
T2V誘導ストリームは、凍結ベースモデルからクエリとキーをコピーする。
- 参考スコア(独自算出の注目度): 11.126211031736288
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce TokenStream, an optimization-based framework that composes independently learned subject identities in text-to-video generation without a reference-video training dataset or joint optimization of each new subject combination. Learning from a single reference image makes subject appearance difficult to separate from static-image bias, while merging independently trained adapters can mix identities. Token-wise LoRA (ToRA) restricts low-rank updates to the cross-attention value projections of subject-associated text tokens, providing a separate adaptation path for each subject. A T2V-guided stream copies queries and keys from the frozen base model during early denoising to reuse its layout and motion priors while retaining personalized values. We also introduce Multi-DB, a 30-subject, 122-prompt benchmark with appearance-free prompts and varied interactions. On Multi-DB at 1.3B, TokenStream improves identity preservation from 0.422 for DreamBooth to 0.467 and textual alignment from 0.652 to 0.688.
- Abstract(参考訳): TokenStreamは,テキスト・ビデオ生成において,参照・ビデオ・トレーニングデータセットを使わずに,個別に学習対象の同一性を構成する最適化ベースのフレームワークである。
単一の参照画像から学習することで、オブジェクトの外観が静的イメージバイアスから切り離すのが難しくなる一方、独立して訓練されたアダプタをマージすることで、IDを混在させることができる。
Token-wise LoRA (ToRA) は、被写体関連テキストトークンのクロスアテンション値投影に対する低ランク更新を制限し、各被写体に対して個別の適応パスを提供する。
T2V誘導ストリームは、初期復調中に凍結ベースモデルからクエリとキーをコピーし、パーソナライズされた値を保持しながら、そのレイアウトと動作先を再利用する。
また,30サブジェクト,122プロンプトのベンチマークであるMulti-DBを導入する。
1.3BのMulti-DBでは、TokenStreamはDreamBooth用の0.422から0.467に、テキストアライメントは0.652から0.688に改善されている。
関連論文リスト
- Custom Forcing: Training-Free Subject Customization for Autoregressive Video Generation [10.159997688458107]
自動回帰ビデオモデルは、リアルタイムで1分間のビデオを生成することができるが、ユーザが提供する画像から特定の主題ではなく、テキストからジェネリックな主題を生成する。
本稿では,凍結自己回帰ビデオモデルのKVキャッシュに参照ベースのアンカーフレームを格納する,トレーニング不要なCustom Forcingを提案する。
論文 参考訳(メタデータ) (2026-10-02T07:04:09Z) - NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation [53.369637657900235]
NesTokは、動的ビジュアルトークン化ツールに適したネストされた自己アライメントフレームワークである。
標準トレーニングよりも大幅に改善され、ImageNetで0.98のrFIDスコアを達成している。
論文 参考訳(メタデータ) (2026-09-29T05:27:53Z) - InstructionCrafter: Generating Consistent and High-Fidelity Visual Instructions [6.198298884034955]
既存のテキスト画像生成アプローチは、ステップ忠実性、クロスイメージ一貫性、フレーム単位の視覚的品質を満たすことは滅多にない。
InstructionCrafterは、時間的および命令的アライメントの最適化を分離する鍵となるアイデアを持つ拡散ベースのフレームワークである。
私たちのコードとトレーニングされたモデルは公開されます。
論文 参考訳(メタデータ) (2026-08-09T04:01:21Z) - Advancing Narrative Long Video Generation via Training-Free Identity-Aware Memory [79.01059178883817]
IAMFlowはトレーニング不要のID対応メモリフレームワークで、永続的なエンティティのIDを明示的にモデル化し追跡する。
VLMは、レンダリングフレームから属性を非同期に検証し、洗練し、暗黙の類似性ベースのマッチングの代わりに明示的なエンティティ追跡を可能にする。
NarraStream-Benchは,6次元にまたがる324のマルチプロンプトスクリプトを備えた,ナラストリームビデオ生成のためのベンチマークである。
論文 参考訳(メタデータ) (2026-05-18T17:54:34Z) - Script-a-Video: Deep Structured Audio-visual Captions via Factorized Streams and Relational Grounding [0.0]
MTSS(Multi-Stream Scene Script)はモノリシックなテキストを因数化して具体化されたシーン記述に置き換える新しいパラダイムである。
広範囲な実験によりMTSSは様々なモデルにおけるビデオ理解を一貫して強化することを示した。
アーキテクチャの適応がなくても、マルチショットビデオ生成におけるモノリシックプロンプトをMTSSに置き換えると、大幅に改善される。
論文 参考訳(メタデータ) (2026-04-13T09:50:36Z) - UniWeTok: An Unified Binary Tokenizer with Codebook Size $\mathit{2^{128}}$ for Unified Multimodal Large Language Model [50.68870074090426]
我々はUniWeTokを紹介した。UniWeTokはUniified Multimodal Large Language Modelsのための統一された離散トークンである。
トレーニングフレームワークとして,個別トークンのセマンティックな抽出と生成を促進するために,プレポスト蒸留とジェネレーティブ・アウェア・プレファレンスを導入する。
我々は,UniWeTokの適応性を高めるために,様々な画像解像度と知覚に敏感なシナリオを横断する3段階のトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-15T15:07:19Z) - AlcheMinT: Fine-grained Temporal Control for Multi-Reference Consistent Video Generation [58.844504598618094]
本稿では、被験者駆動ビデオ生成のための明示的なタイムスタンプ条件付きフレームワークAlcheMinTを提案する。
提案手法では,時間間隔の符号化を解き放つ新しい位置符号化機構を導入する。
我々は、視覚的アイデンティティとビデオキャプションの結合を強化するために、主観記述型テキストトークンを導入し、世代間あいまいさを緩和する。
論文 参考訳(メタデータ) (2025-12-11T18:59:34Z) - VIMPAC: Video Pre-Training via Masked Token Prediction and Contrastive
Learning [82.09856883441044]
ビデオ理解は、内部接続をモデル化するグローバルコンテンツを認識することに依存している。
空間領域と時間領域の両方で隣接するビデオトークンをマスクするブロックワイズ戦略を提案する。
また、グローバルコンテンツをさらにキャプチャするために、拡張不要なコントラスト学習手法も追加する。
論文 参考訳(メタデータ) (2021-06-21T16:48:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。