論文の概要: FOLIO: Focused Semantic Memory for Streaming Video Understanding

• arxiv url: http://arxiv.org/abs/2607.13298v1
• Date: Tue, 14 Jul 2026 22:09:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.596423
• Title: FOLIO: Focused Semantic Memory for Streaming Video Understanding
• Title（参考訳）: FOLIO:ビデオ理解のストリーミングのためのセマンティックメモリ
• Abstract要約: オンラインのストリーミングビデオ理解では、ビデオストリームが到着し続け、いつでもクエリが発行される可能性がある。 この履歴がストリームとともに増加するにつれて、メモリコストが増加し、多くの冗長な視覚的詳細が保持される。 トレーニング不要なセマンティックメモリシステムであるFOLIOを導入し、ストリームの重要な部分をより詳細に記録する。
• 参考スコア（独自算出の注目度）: 7.067883491096352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In online streaming video understanding, a video stream continues to arrive and queries may be issued at any time. Because streaming frames grow without bound, the system must continuously compress and retain information from the observed video prefix while future frames and future queries remain unknown. The core challenge is deciding what information to retain and how to organize the maintained history: as this history grows with the stream, memory cost increases and many redundant visual details are retained, whereas later queries often depend on specific entities, actions, and their temporal changes. To address this challenge, we introduce FOLIO, a training-free focused semantic memory system that records important parts of the stream in higher detail while keeping surrounding context compact. As the stream arrives, FOLIO updates memory at the segment level, guided by a dynamic focus state, combining a short-term visual buffer with a long-term semantic memory organized around observed entities and linked to a visual-evidence cache. At query time, lightweight hybrid retrieval combines direct matching over the structured memory with semantic query expansion. FOLIO achieves state-of-the-art performance, reaching 82.0/69.1 Perception/Backward accuracy on OVO-Bench with Qwen3-VL-8B and 74.5 overall accuracy on StreamingBench, while substantially reducing the cost of maintaining streaming memory by reserving detailed records for focused entities and storing surrounding context compactly.
• Abstract（参考訳）: オンラインのストリーミングビデオ理解では、ビデオストリームが到着し続け、いつでもクエリが発行される可能性がある。 ストリーミングフレームはバウンドなしで成長するので、将来的なフレームと将来のクエリが不明である間に、観測されたビデオプレフィックスからの情報を継続的に圧縮して保持する必要がある。 この履歴がストリームとともに大きくなるにつれて、メモリコストが増加し、多くの冗長な視覚的詳細が保持されるのに対して、後のクエリは特定のエンティティやアクション、時間的変化に依存することが多い。 この課題に対処するために、FOLIOはトレーニング不要なセマンティックメモリシステムで、周囲のコンテキストをコンパクトにしながら、ストリームの重要な部分をより詳細に記録する。 ストリームが到着すると、FOLIOはセグメントレベルでメモリを更新し、ダイナミックなフォーカス状態によってガイドされ、短期的なビジュアルバッファと観察されたエンティティを中心に構成され、視覚的なエビデンスキャッシュにリンクされた長期的なセマンティックメモリを組み合わせる。 クエリ時に、軽量なハイブリッド検索は、構造化メモリ上の直接マッチングとセマンティッククエリ拡張を組み合わせる。 FOLIOは82.0/69.1に到達し、Qwen3-VL-8BでOVO-Benchで知覚/後方精度、StreamingBenchで74.5の総合精度を実現し、集中したエンティティの詳細な記録を保存し、周囲のコンテキストをコンパクトに保存することでストリーミングメモリを維持するコストを大幅に削減した。

関連論文リスト

• Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding [64.34948094316685]
  latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。 LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2026-09-03T17:28:14Z)
• Dynamic Hub-and-Spoke Memory for Streaming Video Understanding [36.38729564564716]
  Dynamic Hub-and-Spoke Memory (D-HSM)は、リモート履歴を構造化されたテキストメモリとして表現するトレーニング不要のフレームワークである。 D-HSMは、選択した歴史的ビデオチャンクをタイプされたテキスト観察に変換し、エンティティ中心のハブ・アンド・スポークメモリに格納する。 質問に答えると、D-HSMは、コンパクトな質問認識メモリサブセットを動的に検索し、ハブ・アンド・スポークリンクを通じて拡張し、最新のビジュアルウィンドウと組み合わせてフリーズ・VLMの応答予測を行う。
  論文  参考訳（メタデータ） (2026-08-31T06:02:28Z)
• RECAP-Forcing: Retaining Content Appearances for Long Video Generation [37.756464872090596]
  外観の新規性によって記憶を整理するRECAP-Forcingを提案する。 長いビデオは単なるフレームの連続ではなく、主題、オブジェクト、シーンの進化したキャストである。 ビデオが進化するにつれて、光フローベースのノベルティバンクは、新たに公開されたコンテンツを選択的に保持することで、同じ原理を拡張する。
  論文  参考訳（メタデータ） (2026-08-27T06:24:59Z)
• StreamFlow: Dynamic Memory Flows for Streaming Video Understanding [65.10324190760602]
  StreamFlowは、歴史的視覚情報への動的なオンデマンドアクセスを可能にする効率的なビジュアルメモリフレームワークである。 最先端のストリーミングビデオ理解性能を達成し、StreamingBenchの全体的な精度は67.73%に達した。 バニラ設定とは対照的に、視覚的注意スコア(VAS)を59.1%改善し、それぞれエンドツーエンドのレイテンシとピークメモリを50.4%、21.1%削減した。
  論文  参考訳（メタデータ） (2026-08-11T14:19:03Z)
• ObjectStream: Latent Objects as Memory Anchors for Streaming Video Understanding [50.17161313335395]
  ObjectStreamはトレーニング不要のフレームワークで、ストリーミングビデオ理解のためのメモリアンカーとして潜在オブジェクトを扱う。 それは3つの補完的な証拠を保存している: 永続的なオブジェクト履歴、過渡的なオブジェクト変更、そして最近の視覚的コンテキストである。 オンラインストリーミングとオフラインの長時間ビデオベンチマークの実験は、有効性と効率の両方を示している。
  論文  参考訳（メタデータ） (2026-07-30T14:47:00Z)
• What Should a Streaming Video Model Remember? [28.189301152079214]
  ストリーミングビデオ理解モデルは、現在進行中のストリームの間、常にクエリに答えなければならない。 提案するTextbfSelectStreamは,クエリ条件のコンパクトなエビデンス予算を通じてのみ履歴情報を公開しながら,現在の観測結果を凍結したVLMに直接可視的に保持する,選択的潜在メモリフレームワークである。 実験の結果、SelectStreamは強力なオンラインストリーミング性能を示し、一般的なビデオ理解を保ち、StreamingBenchでは82.67%、OVO-Benchでは67.03%、オフラインビデオベンチマークでは74.4%に達した。
  論文  参考訳（メタデータ） (2026-06-15T07:50:19Z)
• FadeMem: Distance-Aware Memory Consolidation for Autoregressive Video Diffusion [59.207505503284715]
  FadeMemは、歴史的なKVブロックを固定キャッシュ予算の下で時間階層に整理する。 新しい歴史はきめ細かいエントリとして挿入され、古い隣のエントリは徐々にマージされる。 実験では、既存の有界キャッシュ戦略よりも、被験者の一貫性、背景安定性、時間的コヒーレンスが改善された。
  論文  参考訳（メタデータ） (2026-06-09T10:22:18Z)
• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• WAT: Online Video Understanding Needs Watching Before Thinking [25.136741695647213]
  WAT(Watching Before Thinking)は、オンラインビデオ推論のための2段階のフレームワークである。 処理をクエリ非依存の監視ステージとクエリトリガーの思考ステージに分離する。 オンラインビデオベンチマークでは、StreamingBenchでは77.7%、OVO-Benchでは55.2%の精度で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-03-12T13:42:32Z)
• Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory [50.30283773196725]
  既存のアプローチは、時間とともにフレームレベルの詳細を蓄積するためにキーバリューキャッシングに依存していますが、フレーム毎に限られた数のトークンを使用します。 より詳細な時間的理解と推論を可能にするためにトークン予算のスケーリングを提案する。
  論文  参考訳（メタデータ） (2026-02-20T18:59:50Z)
• WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
  我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。 WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-12-02T05:14:52Z)
• StreamForest: Efficient Online Video Understanding with Persistent Event Memory [37.73273040737155]
  StreamForestは、ビデオの理解をストリーミングするために設計されている。 微粒な時空間ウィンドウは、現在のシーン知覚を改善するために、詳細な短期的な視覚的手がかりをキャプチャする。 OnlineITはリアルタイム認識と将来の予測の両方においてMLLMのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-09-29T14:53:57Z)
• Mixture of Contexts for Long Video Generation [72.96361488755986]
  我々は長文ビデオ生成を内部情報検索タスクとして再放送する。 本稿では,学習可能なスパークアテンション・ルーティング・モジュールであるMixture of Contexts (MoC) を提案する。 データをスケールしてルーティングを徐々に分散させていくと、そのモデルは計算を適切な履歴に割り当て、アイデンティティ、アクション、シーンを数分のコンテンツで保存する。
  論文  参考訳（メタデータ） (2025-08-28T17:57:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。