論文の概要: FlashBack: Knowing When to Remember in Streaming Vision-Language Models
- arxiv url: http://arxiv.org/abs/2610.01192v1
- Date: Thu, 01 Oct 2026 07:05:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.957453
- Title: FlashBack: Knowing When to Remember in Streaming Vision-Language Models
- Title（参考訳）: FlashBack: ビジョンランゲージモデルのストリーミングをいつ覚えるか
- Abstract要約: FlashBackは、ストリーミングビジョン言語モデルで選択可能なマルチレベルメモリのためのトレーニング不要のフレームワークである。
我々は、StreamingVLMとMage-VL-4BでFlashBackをインスタンス化し、OVO-BenchとStreamingBenchで評価する。
- 参考スコア（独自算出の注目度）: 14.319054809222314
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Streaming vision-language models must process continuously growing video streams under a bounded compute budget, creating a persistent tension between real-time perception and long-term memory. Retrieving historical information provides a natural remedy, yet historical recall is not uniformly beneficial: unnecessary history may introduce irrelevant context into current reasoning and interfere with native real-time perception. Effective streaming memory should therefore address not only what to remember, but also when and how to access it. To this end, we introduce FlashBack, a training-free framework for selective, multi-level memory in streaming vision-language models. Before retrieving history, FlashBack draws on the semantic understanding of the frozen streaming VLM to infer whether a query calls for historical evidence. This assessment determines whether inference remains on the Native trajectory or invokes an isolated Recall trajectory. The Recall trajectory combines recent context with retrieved long-term memory through a query-local Side-KV pathway, preserving local temporal continuity without modifying the persistent Native state. We instantiate FlashBack on StreamingVLM and Mage-VL-4B and evaluate it on OVO-Bench and StreamingBench. The results show improvements on several long-horizon and memory-dependent tasks while largely preserving real-time perception, with performance competitive with strong training-based streaming methods despite requiring no additional training. Our code will be announced later.
- Abstract（参考訳）: ビジョン言語モデルのストリーミングは、境界計算予算の下で継続的に成長するビデオストリームを処理し、リアルタイム知覚と長期記憶の間に永続的な緊張を生み出す必要がある。
不必要な歴史は、現在の推論に無関係な文脈を導入し、ネイティブなリアルタイム知覚に干渉する可能性がある。
したがって、効果的なストリーミングメモリは、何を記憶すべきかだけでなく、いつどのようにアクセスするかにも対処する必要がある。
この目的のために私たちは,ストリーミングビジョン言語モデルにおける選択型マルチレベルメモリのためのトレーニングフリーフレームワークであるFlashBackを紹介した。
履歴を取得する前に、FlashBackは、クエリが歴史的な証拠を要求するかどうかを推測するために、凍結ストリーミングVLMのセマンティックな理解を引き合いに出している。
この評価は、Native trajectoryに推論が残っているか、分離されたRecall trajectoryを呼び出すかを決定する。
Recallトラジェクトリは、クエリローカルのSide-KVパスを通じて取得した長期メモリと最近のコンテキストを結合し、永続的なネイティブ状態を変更することなく、局所的な時間的連続性を保存する。
我々は、StreamingVLMとMage-VL-4BでFlashBackをインスタンス化し、OVO-BenchとStreamingBenchで評価する。
以上の結果から,トレーニングを必要とせず,強いトレーニングベースのストリーミング手法と競合しながら,リアルタイムの認識を保ちながら,長期的およびメモリ依存的なタスクの改善が示された。
私たちのコードは後で発表します。
関連論文リスト
- Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding [64.34948094316685]
latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。
LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
論文 参考訳（メタデータ） (2026-09-03T17:28:14Z) - LayerRecall: A State-Conditioned Memory Router for Long-Horizon Consistency in Video Generation [22.878882105342182]
自己回帰ビデオ拡散は、境界付けられた最近の文脈からチャンクを生成する。
頻度ベースのキャッシュは、被写体、オブジェクト、シーン、または属性が再び現れるときに必要となる歴史的手がかりを排除します。
LayerRecallは関連するK/V状態を取得し、バックボーン固有のメモリ依存レイヤにのみ注入する。
論文 参考訳（メタデータ） (2026-08-28T15:49:13Z) - StreamTTT: Reconciling Real-Time Perception and Long-Term Memory in Streaming VLMs [53.38747124102543]
StreamTTTは、アテンションコンテキストの外の、オンライン更新された高速ウェイトに長距離履歴を書き込む。
オフラインの長ビデオQAと、新たに構築されたリアルタイムQAコーパスで、StreamTTTを共同でトレーニングする。
同じスケールのSimpleStream-4Bを、リアルタイムの知覚では1.4ポイント、後方トレースでは3.7ポイントで上回っている。
論文 参考訳（メタデータ） (2026-08-13T16:10:33Z) - StreamFlow: Dynamic Memory Flows for Streaming Video Understanding [65.10324190760602]
StreamFlowは、歴史的視覚情報への動的なオンデマンドアクセスを可能にする効率的なビジュアルメモリフレームワークである。
最先端のストリーミングビデオ理解性能を達成し、StreamingBenchの全体的な精度は67.73%に達した。
バニラ設定とは対照的に、視覚的注意スコア(VAS)を59.1%改善し、それぞれエンドツーエンドのレイテンシとピークメモリを50.4%、21.1%削減した。
論文 参考訳（メタデータ） (2026-08-11T14:19:03Z) - LiveMem: Maintaining Memory State Continuity in Long-Running LLM Inference [6.324239367257621]
長期にわたるアシスタントとエージェントは計算ストリームを消費し、最終的にコンテキストを上回る。
既存のコンテキスト保持、要約、検索は、選択した履歴へのアクセスを保存するが、作業コンテキストが変化すると、ライフサイクル全体にわたって永続的な状態を提供しない。
そこで本研究では,事前学習したフルアテンション LLM をメモリ状態で拡張し,ライフサイクル全体にわたって履歴情報を保存する,固有のメモリ方式 textbfLiveMem を提案する。
論文 参考訳（メタデータ） (2026-08-03T17:12:05Z) - FOLIO: Focused Semantic Memory for Streaming Video Understanding [7.067883491096352]
オンラインのストリーミングビデオ理解では、ビデオストリームが到着し続け、いつでもクエリが発行される可能性がある。
この履歴がストリームとともに増加するにつれて、メモリコストが増加し、多くの冗長な視覚的詳細が保持される。
トレーニング不要なセマンティックメモリシステムであるFOLIOを導入し、ストリームの重要な部分をより詳細に記録する。
論文 参考訳（メタデータ） (2026-07-14T22:09:48Z) - What Should a Streaming Video Model Remember? [28.189301152079214]
ストリーミングビデオ理解モデルは、現在進行中のストリームの間、常にクエリに答えなければならない。
提案するTextbfSelectStreamは,クエリ条件のコンパクトなエビデンス予算を通じてのみ履歴情報を公開しながら,現在の観測結果を凍結したVLMに直接可視的に保持する,選択的潜在メモリフレームワークである。
実験の結果、SelectStreamは強力なオンラインストリーミング性能を示し、一般的なビデオ理解を保ち、StreamingBenchでは82.67%、OVO-Benchでは67.03%、オフラインビデオベンチマークでは74.4%に達した。
論文 参考訳（メタデータ） (2026-06-15T07:50:19Z) - Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。
SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
論文 参考訳（メタデータ） (2026-05-08T15:40:40Z) - Mixture of Contexts for Long Video Generation [72.96361488755986]
我々は長文ビデオ生成を内部情報検索タスクとして再放送する。
本稿では,学習可能なスパークアテンション・ルーティング・モジュールであるMixture of Contexts (MoC) を提案する。
データをスケールしてルーティングを徐々に分散させていくと、そのモデルは計算を適切な履歴に割り当て、アイデンティティ、アクション、シーンを数分のコンテンツで保存する。
論文 参考訳（メタデータ） (2025-08-28T17:57:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。