論文の概要: Memory as Weights: Internalizing Long-Term History for Streaming Videos

• arxiv url: http://arxiv.org/abs/2610.22070v1
• Date: Thu, 15 Oct 2026 15:29:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.1614
• Title: Memory as Weights: Internalizing Long-Term History for Streaming Videos
• Title（参考訳）: メモリ・アズ・ウェイト:ストリーミング動画の長期履歴を内部化
• Abstract要約: 歴史的コンテキストを進化的軽量パラメータ更新に内包するストリーミングメモリフレームワークであるMaLoWを提案する。 MaLoWは、リカレントなHyperNetworkを使用して、入ってくるビデオ観察を固定サイズのLoRA重みに漸進的に集約する。 我々は,OVO-Bench,StreamingBench,StreamArenaにおいて,MaLoWが強い性能を発揮することを示す広範な実験を行った。
• 参考スコア（独自算出の注目度）: 14.706511374933404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Streaming vision-language models (VLMs) must continuously integrate information from the past while remaining responsive to current observations and user queries. Existing memory mechanisms typically compress, retrieve, or cache historical observations and reintroduce them into the input context, forcing historical memory and current observations to compete for limited context. We propose MaLoW, a streaming memory framework that instead internalizes historical context into evolving lightweight parameter updates. MaLoW uses a recurrent HyperNetwork to incrementally consolidate incoming video observations into fixed-size LoRA weights, allowing historical information to be carried forward without revisiting the full video stream. In doing so, MaLoW represents history as weights, while keeping the current observation as input. To support training, we further construct MaLoW-Instruct, a large-scale streaming video dataset containing 381K question-answer pairs over 56K videos. We conduct extensive experiments to demonstrate that MaLoW achieves strong performance on OVO-Bench, StreamingBench, and StreamArena. On the backward split of OVO-Bench, MaLoW outperforms prior memory approaches by 3.9% to 11.8% across different video backbones while incurring only modest latency overhead. Beyond streaming video understanding, MaLoW also generalizes to vision-language-action models, improving the action success rate on Simpler WidowX by 9.3%.
• Abstract（参考訳）: ストリーミングビジョン言語モデル(VLM)は、現在の観測やユーザクエリに応答しながら、過去の情報を継続的に統合する必要がある。 既存のメモリメカニズムは通常、履歴観測を圧縮、取得、キャッシュし、それらを入力コンテキストに再導入し、履歴記憶と現在の観測を限られたコンテキストで競合させる。 従来のコンテキストを軽量なパラメータ更新に内部化する,ストリーミングメモリフレームワークであるMaLoWを提案する。 MaLoWは、リカレントなHyperNetworkを使用して、入ってくるビデオ観察を固定サイズのLoRA重みにインクリメンタルに統合し、全ビデオストリームを再考することなく、歴史的情報を前進させることができる。 その際、MaLoWは履歴を重みとして表現し、現在の観測を入力として保持する。 トレーニングを支援するため,56Kビデオ以上の381K問合せ対を含む大規模ストリーミングビデオデータセットであるMaLoW-Instructを構築した。 我々は,OVO-Bench,StreamingBench,StreamArenaにおいて,MaLoWが強い性能を発揮することを示す広範な実験を行った。 OVO-Benchの後方分割では、MaLoWはビデオバックボーン間のメモリアプローチを3.9%から11.8%上回っている。 ストリーミングビデオ理解以外にも、MaLoWはビジョン言語アクションモデルにも一般化し、Simpler WidowXのアクション成功率を9.3%向上させた。

関連論文リスト

• StreamFlow: Dynamic Memory Flows for Streaming Video Understanding [65.10324190760602]
  StreamFlowは、歴史的視覚情報への動的なオンデマンドアクセスを可能にする効率的なビジュアルメモリフレームワークである。 最先端のストリーミングビデオ理解性能を達成し、StreamingBenchの全体的な精度は67.73%に達した。 バニラ設定とは対照的に、視覚的注意スコア(VAS)を59.1%改善し、それぞれエンドツーエンドのレイテンシとピークメモリを50.4%、21.1%削減した。
  論文  参考訳（メタデータ） (2026-08-11T14:19:03Z)
• Towards a Dynamic and Fixed-budget Memory Bank for Efficient Streaming Video Understanding [56.17043150838547]
  CausalMemは動的ビジュアルメモリ更新機構の構築に特化している。 視覚トークンの冗長性を推定し、オンラインセマンティックベースでメモリバンクを更新する。 textbf20$times$ visual token compression ratioを達成し、textbf82 MBストレージのみを占有する。
  論文  参考訳（メタデータ） (2026-06-24T10:11:08Z)
• What Should a Streaming Video Model Remember? [28.189301152079214]
  ストリーミングビデオ理解モデルは、現在進行中のストリームの間、常にクエリに答えなければならない。 提案するTextbfSelectStreamは,クエリ条件のコンパクトなエビデンス予算を通じてのみ履歴情報を公開しながら,現在の観測結果を凍結したVLMに直接可視的に保持する,選択的潜在メモリフレームワークである。 実験の結果、SelectStreamは強力なオンラインストリーミング性能を示し、一般的なビデオ理解を保ち、StreamingBenchでは82.67%、OVO-Benchでは67.03%、オフラインビデオベンチマークでは74.4%に達した。
  論文  参考訳（メタデータ） (2026-06-15T07:50:19Z)
• A Simple Baseline for Streaming Video Understanding [44.77185258429313]
  直近のNフレームのみをオフザシェルフVLMに供給するスライディングウィンドウベースラインを形式化する。 OVO-BenchとStreamingBenchをベースとした13のオフラインおよびオンラインビデオLLMベースラインに対して評価を行った。
  論文  参考訳（メタデータ） (2026-04-02T17:58:04Z)
• HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding [92.59317281526239]
  HERMESは、ビデオストリームのリアルタイムかつ正確な理解のためのトレーニング不要アーキテクチャである。 HermesはコンパクトなKVキャッシュを再利用し、リソース制約下で効率的なストリーミング理解を可能にする。 Hermesはすべてのベンチマークで優れた精度または同等の精度を実現しており、ストリーミングデータセットでは最大11.4%向上している。
  論文  参考訳（メタデータ） (2026-01-21T07:26:15Z)
• StreamForest: Efficient Online Video Understanding with Persistent Event Memory [37.73273040737155]
  StreamForestは、ビデオの理解をストリーミングするために設計されている。 微粒な時空間ウィンドウは、現在のシーン知覚を改善するために、詳細な短期的な視覚的手がかりをキャプチャする。 OnlineITはリアルタイム認識と将来の予測の両方においてMLLMのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-09-29T14:53:57Z)
• Flash-VStream: Efficient Real-Time Understanding for Long Video Streams [64.25549822010372]
  Flash-VStreamは、非常に長いビデオを処理し、リアルタイムでユーザークエリに応答できるビデオ言語モデルである。 既存のモデルと比較して、Flash-VStreamは推論遅延を大幅に削減する。
  論文  参考訳（メタデータ） (2025-06-30T13:17:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。