論文の概要: ReferStream: Interactive Subject Injection for Streaming Video Generation
- arxiv url: http://arxiv.org/abs/2610.37566v1
- Date: Tue, 27 Oct 2026 17:12:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.726876
- Title: ReferStream: Interactive Subject Injection for Streaming Video Generation
- Title（参考訳）: ReferStream:ストリーミングビデオ生成のための対話型サブジェクトインジェクション
- Abstract要約: ストリーミングビデオ生成中に自然に新しい主題を注入するには、新たに供給された視覚的参照を既存のビデオに統合する必要がある。
我々はReferStreamを提案する。ReferStreamは、現在のシーンと過渡キャッシュインジェクションを使って参照構造を結合するフレームワークである。
我々はReferStream Benchを紹介した。これは、スケジュールされた参照到着、進化する命令、およびInShotおよびMultiShot生成における対象存在の明示的なアノテーションを備えた新しいベンチマークである。
- 参考スコア（独自算出の注目度）: 49.99361424756921
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Injecting new subjects naturally during streaming video generation requires integrating newly supplied visual references into the existing video while preserving established subjects and the scene. Encoding references independently of the current scene provides little guidance for this integration, while keeping their features in persistent memory can interfere with established context. We propose ReferStream, a framework that requires no additional training and combines reference construction using the current scene with transient cache injection. Joint Latent places reference latents in target regions of the latest scene latent, allowing reference features to be extracted in context. Cache Restoration uses these features to condition the injection chunk, then restores the overwritten global cache entries while retaining the newly generated history. This procedure incorporates new visual conditions without retraining the generator or revising emitted frames. We further introduce ReferStream Bench, a new benchmark with scheduled reference arrivals, evolving instructions, and explicit annotations of subject presence for InShot and MultiShot generation. Evaluation follows the event schedule and measures both the fidelity of new subjects and the preservation of established subjects, alongside video quality, text adherence, and count accuracy. Experiments on ReferStream Bench show higher scores for text adherence, subject similarity, and count accuracy than the compared baselines, including offline methods given all references in advance. Project page: https://xushuolin.github.io/ReferStream/.
- Abstract（参考訳）: ストリーミングビデオ生成中に自然に新しい被写体を注入するには、既存の被写体とシーンを保存しながら、新たに供給された視覚的参照を既存のビデオに統合する必要がある。
現在のシーンとは独立して参照をエンコードすることは、この統合のためのガイダンスをほとんど提供しない。
ReferStreamは、追加のトレーニングを必要とせず、現在のシーンを使った参照構造と過渡的なキャッシュインジェクションを組み合わせたフレームワークである。
Joint Latent Places to reference latents in target region of the latest scene latent, allowing reference features to extract in context。
Cache Restorationはこれらの機能を使用してインジェクションチャンクを条件付けし、新たに生成された履歴を保持しながらオーバーライトされたグローバルキャッシュエントリを復元する。
この手順は、ジェネレータを再トレーニングしたり、出力されたフレームを書き換えることなく、新しい視覚条件を組み込む。
さらに、ReferStream Benchを紹介します。これは、スケジュールされた参照到着、進化する命令、およびInShotおよびMultiShot生成における対象存在の明示的なアノテーションを備えた新しいベンチマークです。
評価は、イベントスケジュールに従い、新しい被験者の忠実度と確立した被験者の保存度をビデオ品質、テキストの付着度、カウント精度とともに測定する。
ReferStream Benchの実験では、すべての参照を事前に指定したオフラインメソッドを含む、テキストのアテンデンス、主題の類似性、カウントの精度が比較ベースラインよりも高いことが示されている。
プロジェクトページ: https://xushuolin.github.io/ReferStream/。
関連論文リスト
- VIS-Ground: Video Interactive Storytelling with Contextual Grounding [65.05595690379268]
我々は、不均一な入力コンテキストをビデオ生成のための実行可能な制約モデルに変換するプロセスとしてコンテキストグラウンドを導入する。
VIS-Groundは最高総合スコアを一貫して達成し、バックボーン毎のベースラインよりも平均10.3ポイント向上した。
論文 参考訳（メタデータ） (2026-10-07T02:31:32Z) - Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation [20.30930202544057]
本稿では,対話型長ビデオ生成におけるコンポジションメモリ再利用のためのトレーニングフリーフレームワークであるWeave Forcingを紹介する。
ユーザプロンプトを文字と背景記述に分解するために,LLMを用いてセマンティックスロットルーティングを行う。
また,非,部分的,あるいは全参照カバレッジに応じて,時間的オフセットとメモリ保持を調整するために,カバレッジ適応型RoPEを導入する。
論文 参考訳（メタデータ） (2026-10-02T16:04:26Z) - Complementary Retrieval-Augmented Prompting for Consistent Long-Form Video Generation [18.03444979441404]
既存のトレーニングなしのアプローチは、典型的には、回収された歴史的ビジュアルを使用して標的ショットを条件付けする。
本稿では,コンパクトな相互支援型歴史的参照集合を集約するエージェントフレームワークであるComplementary Retrieval-Augmented Promptingを提案する。
本フレームワークは,ナラティブスクリプトをテキストグラウンドのビジュアル要素レジストリに解析することで,各ターゲットが必要とするビジュアル要素を明示的にモデル化する。
論文 参考訳（メタデータ） (2026-09-29T12:43:27Z) - Spatial-Temporal Decoupled Reference Conditioning for Identity-Preserving Text-to-Video Generation [79.94088803584262]
アイデンティティ保存ビデオ生成(IPVG)は、参照IDを保持しながらテキストプロンプトに従う高忠実度ビデオの合成を目的としている。
そこで我々は,ST-DRCを提案する。ST-DRCは,個人認証を保存したテキスト・ビデオ生成のための効果的な空間的疎結合参照条件作成フレームワークである。
LTX-2.3 上に構築した軽量な設計により,ST-DRC は強いアイデンティティ保存,迅速なアライメント,時間的整合性,映像品質を実現する。
論文 参考訳（メタデータ） (2026-06-01T16:12:18Z) - Generate Your Talking Avatar from Video Reference [54.88475181123363]
既存の会話アバター法は、通常、ターゲット生成と同じシーン内の静的参照画像に条件付きイメージ・ツー・ビデオパイプラインを採用する。
本稿では,ビデオレファレンス(TAVR)からのトークアバター生成について紹介する。
論文 参考訳（メタデータ） (2026-04-30T14:22:27Z) - Online Reasoning Video Object Segmentation [26.75863941739301]
ビデオオブジェクトセグメンテーションの推論は、自然言語クエリからビデオ中のピクセルレベルのマスクを予測する。
オンライン推論ビデオオブジェクト(ORVOS)について検討し、過去のフレームと現在のフレームのみを用いて、モデルを漸進的に解釈する。
ORVOSBは、フレームレベルの因果アノテーションと参照シフトラベルを備えたベンチマークで、210の動画、12,907の注釈付きフレーム、および512の推論カテゴリからなる。
論文 参考訳（メタデータ） (2026-04-13T12:55:56Z) - AlcheMinT: Fine-grained Temporal Control for Multi-Reference Consistent Video Generation [58.844504598618094]
本稿では、被験者駆動ビデオ生成のための明示的なタイムスタンプ条件付きフレームワークAlcheMinTを提案する。
提案手法では,時間間隔の符号化を解き放つ新しい位置符号化機構を導入する。
我々は、視覚的アイデンティティとビデオキャプションの結合を強化するために、主観記述型テキストトークンを導入し、世代間あいまいさを緩和する。
論文 参考訳（メタデータ） (2025-12-11T18:59:34Z) - ContextAnyone: Context-Aware Diffusion for Character-Consistent Text-to-Video Generation [36.29956463871403]
テキスト・ツー・ビデオ(T2V)生成は急速に進歩しているが、シーン間で一貫した文字のアイデンティティを維持することは大きな課題である。
テキストと単一の参照画像から文字一貫性のある映像を生成するコンテキスト対応拡散フレームワークである textbfContextAnyone を提案する。
提案手法は,参照画像を共同で再構成し,新しいビデオフレームを生成する。
論文 参考訳（メタデータ） (2025-12-08T09:12:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。