論文の概要: SWIFT: Prompt-Adaptive Memory for Efficient Interactive Long Video Generation

• arxiv url: http://arxiv.org/abs/2605.09442v1
• Date: Sun, 10 May 2026 09:37:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.253981
• Title: SWIFT: Prompt-Adaptive Memory for Efficient Interactive Long Video Generation
• Title（参考訳）: SWIFT: 対話型ロングビデオ生成のためのプロンプト適応メモリ
• Authors: Shanwen Tan, Hao Li, Jingtao Zhang, Xiaosong Jia, Xue Yang, Shaofeng Zhang, Yanyong Zhang,
• Abstract要約: ストリーミング長ビデオ生成は、連続的なセマンティックスイッチングにおいて中心的な課題に直面している。 現在のアプローチは、プロンプトバウンダリや固定メモリ予算でのキャッシュ再構築に依存している。 マルチプロンプト長ビデオ生成のためのトレーニングフリーフレームワークであるSWIFTを提案する。
• 参考スコア（独自算出の注目度）: 31.105007908298003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Streaming long-video generation faces a central challenge in continuous semantic switching, requiring adaptive memory to preserve coherent visual evolution. Current approaches rely on cache rebuilding at prompt boundaries or fixed memory budgets, but they introduce redundant computation and limit flexible semantic adaptation. This limitation arises from a mismatch between cached video history and prompt updates, as memory preserves visual continuity while prompt switches demand rapid semantic adaptation. Motivated by this observation, we present SWIFT, Semantic Windowing and Injection for Flexible Transitions, a training-free framework for multi-prompt long-video generation that enables efficient semantic switching while preserving temporal coherence in causal video diffusion models. SWIFT introduces a lightweight Semantic Injection Cache that augments cached video memory rather than reconstructing it from scratch at every prompt boundary. To avoid uniformly perturbing all attention channels, we further perform head-wise semantic injection, so that each attention head receives a prompt update proportional to its alignment with the current video state. In addition, we introduce an Adaptive Dynamic Window that allocates temporal memory according to prompt phase, using larger local context near switching boundaries and smaller windows during stable segments to reduce average inference cost. To preserve long-range semantic consistency under compressed local attention, we further maintain segment-level semantic anchors that summarize prompt-conditioned video history and reintroduce it as compact memory tokens. Compared with current state-of-the-art methods, SWIFT preserves generation quality while achieving 22.6 FPS on a single H100 GPU, establishing a substantially more efficient solution for multi-prompt long-video generation. Our code is available at https://github.com/ShanwenTan/SWIFT.
• Abstract（参考訳）: ストリーミング長ビデオ生成は、連続的なセマンティックスイッチングにおいて中心的な課題に直面し、コヒーレントな視覚的進化を維持するために適応的なメモリを必要とする。 現在のアプローチは、プロンプトバウンダリや固定メモリ予算でのキャッシュ再構築に依存しているが、冗長な計算を導入し、フレキシブルなセマンティック適応を制限している。 この制限は、キャッシュされたビデオ履歴と即時更新のミスマッチから生じる。 そこで本研究では,マルチプロンプト長ビデオ生成のためのトレーニングフリーフレームワークであるSWIFT,Semantic Windowing and Injection for Flexible Transitionsを紹介し,因果的ビデオ拡散モデルにおける時間的コヒーレンスを維持しつつ,効率的なセマンティックスイッチングを実現する。 SWIFTは軽量なセマンティックインジェクションキャッシュを導入し、キャッシュされたビデオメモリを各プロンプト境界でスクラッチから再構築する代わりに強化する。 すべての注意チャンネルを均一に乱すのを避けるために、さらに頭回りのセマンティックインジェクションを行い、各アテンションヘッドは現在の映像状態に比例した即時更新を受け取る。 さらに,アダプティブ・ダイナミック・ウィンドウを導入し,時間的メモリをプロンプト・フェーズに従って割り当てる。 圧縮ローカルアテンション下での長距離セマンティック一貫性を維持するため、プロンプト条件付きビデオ履歴を要約したセグメントレベルのセマンティックアンカーを更に維持し、コンパクトメモリトークンとして再導入する。 現在の最先端の方法と比較すると、SWIFTは1つのH100 GPU上で22.6 FPSを達成しながら生成品質を保ち、マルチプロンプトの長ビデオ生成において、より効率的なソリューションを確立している。 私たちのコードはhttps://github.com/ShanwenTan/SWIFT.comで公開されています。

関連論文リスト

• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• Fast Autoregressive Video Diffusion and World Models with Temporal Cache Compression and Sparse Attention [37.91838955436801]
  自動回帰ビデオ拡散モデルは、ストリーミング生成、ロングフォーム合成への扉を開くこと、ビデオワールドモデル、インタラクティブなニューラルゲームエンジンを可能にする。 生成が進むにつれて、KVキャッシュが増加し、レイテンシの増加とGPUメモリのエスカレーションが生じる。 我々は、自己回帰拡散のための統合されたトレーニングなしアテンションフレームワークを提案する: TempCacheは、時間的対応によるKVキャッシュをバウンドキャッシュ成長に圧縮し、AnnCAは、高速近傍マッチングを用いてフレーム関連プロンプトを選択することで、クロスアテンションを加速し、AnnSAは各クエリを制限して自己アテンションを拡大する。
  論文  参考訳（メタデータ） (2026-02-02T08:31:21Z)
• Towards Holistic Modeling for Video Frame Interpolation with Auto-regressive Diffusion Transformers [95.68243351895107]
  我々はtextbfVideo textbfFrame textbfInterpolation (LDF-VFI) のための textbfLocal textbfDiffusion textbfForcing for textbfVideo textbfFrame textbfInterpolation (LDF-VFI) という包括的でビデオ中心のパラダイムを提案する。 我々のフレームワークは、ビデオシーケンス全体をモデル化し、長距離時間的コヒーレンスを確保する自動回帰拡散変換器上に構築されている。 LDF-VFIは、挑戦的なロングシーケンスベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-01-21T12:58:52Z)
• VideoMem: Enhancing Ultra-Long Video Understanding via Adaptive Memory Management [17.645183933549458]
  VideoMemは、適応メモリ管理によるシーケンシャルな生成タスクとして、長いビデオ理解をモデル化する新しいフレームワークである。 我々は,VMemが,超長期ビデオ理解タスクの様々なベンチマークにおいて,既存のオープンソースモデルを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2025-12-04T07:42:13Z)
• Mixture of Contexts for Long Video Generation [72.96361488755986]
  我々は長文ビデオ生成を内部情報検索タスクとして再放送する。 本稿では,学習可能なスパークアテンション・ルーティング・モジュールであるMixture of Contexts (MoC) を提案する。 データをスケールしてルーティングを徐々に分散させていくと、そのモデルは計算を適切な履歴に割り当て、アイデンティティ、アクション、シーンを数分のコンテンツで保存する。
  論文  参考訳（メタデータ） (2025-08-28T17:57:55Z)
• Exploiting Temporal State Space Sharing for Video Semantic Segmentation [53.8810901249897]
  ビデオセマンティックセグメンテーション(VSS)はシーンの時間的進化を理解する上で重要な役割を担っている。 従来の手法では、ビデオはフレーム単位で、あるいは短い時間ウィンドウで分割されることが多く、時間的コンテキストや冗長な計算、重いメモリ要求に繋がる。 本研究では,時間的特徴共有にマンバ状態空間モデルを活用するための時間的ビデオ状態空間共有アーキテクチャを提案する。 本モデルでは,映像フレーム間の関連情報を効率的に伝播する選択的ゲーティング機構を特徴とし,メモリ量の多い機能プールの必要性を解消する。
  論文  参考訳（メタデータ） (2025-03-26T01:47:42Z)
• VideoScan: Enabling Efficient Streaming Video Understanding via Frame-level Semantic Carriers [23.541896057977745]
  VideoScanは、リアルタイムビデオインタラクションのための効率的な視覚言語モデル(VLM)推論フレームワークである。 VideoScanでは、各フレームを表すために単一のセマンティックキャリアトークンを使用している。
  論文  参考訳（メタデータ） (2025-03-12T13:30:40Z)
• ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
  VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。 本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。 本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
  論文  参考訳（メタデータ） (2024-11-23T13:23:22Z)
• Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
  一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。 本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。 また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
  論文  参考訳（メタデータ） (2022-05-08T02:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。