論文の概要: Dynamic Hub-and-Spoke Memory for Streaming Video Understanding
- arxiv url: http://arxiv.org/abs/2608.30294v1
- Date: Mon, 31 Aug 2026 06:02:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.250306
- Title: Dynamic Hub-and-Spoke Memory for Streaming Video Understanding
- Title（参考訳）: ストリーム映像理解のための動的ハブ・アンド・スポークメモリ
- Abstract要約: Dynamic Hub-and-Spoke Memory (D-HSM)は、リモート履歴を構造化されたテキストメモリとして表現するトレーニング不要のフレームワークである。
D-HSMは、選択した歴史的ビデオチャンクをタイプされたテキスト観察に変換し、エンティティ中心のハブ・アンド・スポークメモリに格納する。
質問に答えると、D-HSMは、コンパクトな質問認識メモリサブセットを動的に検索し、ハブ・アンド・スポークリンクを通じて拡張し、最新のビジュアルウィンドウと組み合わせてフリーズ・VLMの応答予測を行う。
- 参考スコア（独自算出の注目度）: 36.38729564564716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Streaming video understanding requires answering questions at arbitrary times over a continuously growing visual stream. The central challenge is to compactly remember long-range history while effectively retrieving question-relevant evidence. We propose Dynamic Hub-and-Spoke Memory (D-HSM), a training-free framework that represents distant history as structured textual memory while preserving the recent frames as visual tokens for fine-grained perception. Specifically, D-HSM turns selected historical video chunks into typed textual observations and stores them in an entity-centered hub-and-spoke memory, with entities as hubs and related evidence as spokes. When answering a question, D-HSM dynamically retrieves a compact question-aware memory subset, expands it through hub-and-spoke links, and combines it with the recent visual window for frozen-VLM answer prediction. Extensive experiments on both streaming and long video benchmarks show that D-HSM consistently and substantially improves VLM backbones and outperforms other state-of-the-art online and offline video understanding baselines.
- Abstract（参考訳）: ビデオの理解をストリーミングするには、継続的に成長するビジュアルストリーム上で、任意のタイミングで質問に答える必要がある。
主要な課題は、質問関連証拠を効果的に回収しながら、長距離の歴史をコンパクトに記憶することである。
遠隔地の歴史を構造化されたテキストメモリとして表現し,最新のフレームを視覚的トークンとして微粒化認識する訓練自由フレームワークであるDynamic Hub-and-Spoke Memory (D-HSM)を提案する。
具体的には、D-HSMは、選択した歴史的ビデオチャンクをタイプされたテキストの観察に変換し、それらをエンティティ中心のハブ・アンド・スポークメモリに格納し、エンティティをハブとして、関連する証拠をスポークとして格納する。
質問に答えると、D-HSMは、コンパクトな質問認識メモリサブセットを動的に検索し、ハブ・アンド・スポークリンクを通じて拡張し、最新のビジュアルウィンドウと組み合わせてフリーズ・VLMの応答予測を行う。
ストリーミングと長時間のビデオベンチマークの広範な実験は、D-HSMが一貫してVLMのバックボーンを改善し、他の最先端のオンラインおよびオフラインビデオ理解ベースラインを上回っていることを示している。
関連論文リスト
- Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding [64.34948094316685]
latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。
LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
論文 参考訳（メタデータ） (2026-09-03T17:28:14Z) - RECAP-Forcing: Retaining Content Appearances for Long Video Generation [37.756464872090596]
外観の新規性によって記憶を整理するRECAP-Forcingを提案する。
長いビデオは単なるフレームの連続ではなく、主題、オブジェクト、シーンの進化したキャストである。
ビデオが進化するにつれて、光フローベースのノベルティバンクは、新たに公開されたコンテンツを選択的に保持することで、同じ原理を拡張する。
論文 参考訳（メタデータ） (2026-08-27T06:24:59Z) - FOLIO: Focused Semantic Memory for Streaming Video Understanding [7.067883491096352]
オンラインのストリーミングビデオ理解では、ビデオストリームが到着し続け、いつでもクエリが発行される可能性がある。
この履歴がストリームとともに増加するにつれて、メモリコストが増加し、多くの冗長な視覚的詳細が保持される。
トレーニング不要なセマンティックメモリシステムであるFOLIOを導入し、ストリームの重要な部分をより詳細に記録する。
論文 参考訳（メタデータ） (2026-07-14T22:09:48Z) - Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning [77.7531245219403]
textscHomerは階層型オンラインメモリ探索および推論フレームワークである。
textscHomerの記憶は、生の知覚から繰り返される実体、明示的な時間的・因果関係と結びついた出来事まで、長いビデオのマルチスケール構造を反映している。
textscHomerは、M3-Bench-robot、M3-Bench-web、Video-MME-Longで$+5.5$、$+10.8$、$+4.4$ポイントで前のベストエージェントメソッドより優れている。
論文 参考訳（メタデータ） (2026-07-01T05:53:09Z) - Keep It in Mind: User Centric Continual Spatial Intelligence Reasoning in Egocentric Video Streams [58.77207336324662]
UCS-ベンチ (UCS-Bench) は、170時間以上のエゴセントリックな視覚観察と8.1K以上のタイムスタンプの質問のデータセットである。
我々は、ストリーミングエゴセントリックな観測から構造化空間記憶をインクリメンタルに構築し、維持するフレームワークであるDirectMeを提案する。
論文 参考訳（メタデータ） (2026-06-13T08:50:49Z) - WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。
WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2025-12-02T05:14:52Z) - Episodic Memory Representation for Long-form Video Understanding [52.33907540905242]
大きなビデオ言語モデルは、一般的なビデオ理解において優れているが、長い形式のコンテキストウィンドウの制限に苦労する。
人間の記憶の原理にインスパイアされたトレーニングフリーのフレームワークであるVideo-EMを紹介する。
Video-EMでは、各ベースラインに対して4-9%のパフォーマンス向上を実現し、フレームの削減を実現している。
論文 参考訳（メタデータ） (2025-08-13T04:33:07Z) - ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。
本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。
本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
論文 参考訳（メタデータ） (2024-11-23T13:23:22Z) - Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。
本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。
また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
論文 参考訳（メタデータ） (2022-05-08T02:24:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。