論文の概要: FrameMorrow: Future-guided Frame Selection with Prospective Tokens for Long-Horizon Video Generation
- arxiv url: http://arxiv.org/abs/2609.38839v1
- Date: Wed, 30 Sep 2026 02:57:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.061523
- Title: FrameMorrow: Future-guided Frame Selection with Prospective Tokens for Long-Horizon Video Generation
- Title(参考訳): FrameMorrow: 長距離ビデオ生成のための先進的なトークンを用いた未来誘導フレーム選択
- Abstract要約: 歴史的情報は,その将来的な情報ニーズに対する関連性に応じて選択されるべきであることを示す。
本稿では,将来の情報ニーズを表す少数の予測トークンを予測可能なフレームセレクタであるFrameMorrowを提案する。
FrameMorrowは,長ビデオ生成,インタラクティブ生成,アクション条件付き世界モデルにまたがる5つのベンチマークと11の生成モデルで評価する。
- 参考スコア(独自算出の注目度): 54.88798442752242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon video generation requires models to effectively leverage an increasingly long generation history. As the generated history grows, retaining all previous content becomes increasingly expensive and redundant, making effective historical selection essential. Existing approaches often determine historical relevance based on the current content. However, information relevant to the present is not necessarily useful for future generation, while seemingly less relevant history may become important later. Our key insight is that historical information should be selected according to its relevance to future information needs. Capturing these needs does not require generating the full future; instead, a compact representation of what becomes important next is sufficient to guide historical selection. Building on this insight, we propose FrameMorrow, a prospective frame selector that predicts a small set of prospective tokens representing future information needs and uses them to identify relevant information from history. FrameMorrow selects explicit historical frames rather than model-specific internal states, enabling plug-and-play integration across diverse generators, including closed-source models, with little additional inference cost. We evaluate FrameMorrow across five benchmarks and 11 generative models spanning long-video generation, interactive generation, and action-conditioned world models. Extensive experiments demonstrate consistent improvements in long-range consistency, visual quality, and action alignment across diverse generation settings.
- Abstract(参考訳): 長い水平ビデオ生成は、ますます長い世代の歴史を効果的に活用するためにモデルを必要とする。
生成した履歴が大きくなるにつれて、過去のすべてのコンテンツを維持することはますます高価で冗長になり、効果的な歴史的選択が不可欠になる。
既存のアプローチは、しばしば現在の内容に基づいて歴史的関連性を決定する。
しかし、現在に関連する情報は必ずしも将来の世代にとって有用ではない。
我々の重要な洞察は、過去の情報は、その将来的な情報ニーズへの関連性に応じて選択されるべきであるということである。
これらのニーズを捕捉するには、完全な未来を生成する必要はなく、代わりに、次に重要なものを表すコンパクトな表現は、歴史的選択を導くのに十分である。
この知見に基づいて、将来の情報ニーズを表す少数の予測トークンを予測し、それらを用いて履歴から関連する情報を識別するフレームセレクタであるFrameMorrowを提案する。
FrameMorrowは、モデル固有の内部状態ではなく、明示的な歴史的なフレームを選択する。
FrameMorrowは,長ビデオ生成,インタラクティブ生成,アクション条件付き世界モデルにまたがる5つのベンチマークと11の生成モデルで評価する。
広範囲にわたる実験では、様々な生成環境における長距離の一貫性、視覚的品質、行動アライメントが一貫した改善を示している。
関連論文リスト
- The Past Frames the Future: Memory for Autoregressive Video Generation [180.54347159008623]
本稿では,ARビデオ生成における記憶機構の体系的,包括的レビューを行う。
我々は、外部ARステップにまたがる永続的な履歴情報として、メモリを運用的に定式化する。
本稿では,信頼性の高いメモリ条件のビデオ生成システムを構築するための構造的基盤を確立する。
論文 参考訳(メタデータ) (2026-09-23T17:54:52Z) - Focused Forcing: Content-Aware Per-Frame KV Selection for Efficient Autoregressive Video Diffusion [25.555611454522126]
textbfFocused Forcingは、生成フレームとヘッド次元の両方に沿ってキャッシュされた履歴に焦点を当てた、トレーニング不要なKV選択手法である。
生成されたフレームごとに、Focused Forcingは最も関連性があり、独特な歴史的フレームを保存する。
複数の自己回帰生成パラダイム全体で、Focused Forcingはトレーニングなしで最大$textbf1.48times$エンドツーエンドアクセラレーションを達成する。
論文 参考訳(メタデータ) (2026-05-18T12:58:13Z) - LumosX: Relate Any Identities with Their Attributes for Personalized Video Generation [40.98620828711645]
データ設計とモデル設計の両方を進化させるフレームワークであるLumosXを提案する。
データ側では、カスタマイズされたパイプラインコレクションが、独立したビデオからキャプションと視覚的手がかりを編成する。
一方、マルチモーダルな大規模言語モデル(LMML)は、主観的な依存関係を推論し、割り当てる。
論文 参考訳(メタデータ) (2026-03-20T17:59:46Z) - Memorize-and-Generate: Towards Long-Term Consistency in Real-Time Video Generation [33.32047364623734]
Memorize-and-Generate(MAG)は、メモリ圧縮とフレーム生成を別々のタスクに分離するフレームワークである。
我々は、記憶モデルを訓練して、履歴情報をコンパクトなKVキャッシュに圧縮し、この圧縮された表現を用いて、後続のフレームを合成する別個のジェネレータモデルを訓練する。
実験により、MAGは標準的なビデオ生成ベンチマーク上での競争性能を維持しながら、優れた歴史的一貫性を実現することが示された。
論文 参考訳(メタデータ) (2025-12-21T14:02:53Z) - InfLVG: Reinforce Inference-Time Consistent Long Video Generation with GRPO [73.33751812982342]
InfLVGは、追加のロングフォームビデオデータを必要としないコヒーレントなロングビデオ生成を可能にする推論時フレームワークである。
InfLVGはビデオ長を最大9$times$まで拡張でき、シーン間の一貫性とセマンティック忠実性を実現することができる。
論文 参考訳(メタデータ) (2025-05-23T07:33:25Z) - Openstory++: A Large-scale Dataset and Benchmark for Instance-aware Open-domain Visual Storytelling [81.69474860607542]
画像とテキストの両方にインスタンスレベルのアノテーションを追加する大規模データセットであるOpenstory++を提示する。
また、長いマルチモーダルコンテキストが提供される際に、画像生成タスクを評価するための先駆的なベンチマークフレームワークであるCohere-Benchについても紹介する。
論文 参考訳(メタデータ) (2024-08-07T11:20:37Z) - Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation [55.36617538438858]
本研究では,空間的知覚と時間的知覚の相互作用を強化する新しいアプローチを提案する。
我々はHD-VG-130Mという大規模かつオープンソースのビデオデータセットをキュレートする。
論文 参考訳(メタデータ) (2023-05-18T11:06:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。