論文の概要: DeltaStreamer: Towards Human-Like Agentic Streaming Video Understanding
- arxiv url: http://arxiv.org/abs/2610.19849v1
- Date: Wed, 14 Oct 2026 09:19:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 12:10:45.453817
- Title: DeltaStreamer: Towards Human-Like Agentic Streaming Video Understanding
- Title（参考訳）: DeltaStreamer: ヒューマンライクなエージェントストリーミングビデオ理解を目指す
- Abstract要約: ビデオの理解をストリーミングするには、将来のクエリに必要な詳細を知る前に証拠を保持する必要がある。
既存のアプローチはしばしば、ビデオ履歴を圧縮する際、不明瞭なイベント遷移と関連する詳細を省略する。
DeltaStreamerは、変更対応メモリとクエリ駆動の計画と、リプレイで収集されたターゲットエビデンスを組み合わせることで、これらの制限に対処する。
- 参考スコア（独自算出の注目度）: 43.26285825586194
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose DeltaStreamer, a novel agentic framework for streaming video understanding inspired by how humans observe, remember, and investigate. Streaming video understanding requires a system to retain evidence before knowing which details future queries will need. Existing approaches often obscure event transitions and omit relevant details when compressing video history, and cannot recover missing visual evidence. DeltaStreamer addresses these limitations by combining change-aware memory with query-driven planning and targeted evidence gathering with replay. Before a query arrives, it continuously observes the stream and explicitly records visual changes in structured memory, preserving how events unfold rather than only what is present. When a query arrives, a query-driven planner identifies the required evidence and guides memory retrieval and targeted replay. By revisiting historical frames, the agent can recover visual details omitted during observation and ground its answer in evidence beyond the retained descriptions. This connects continuous observation with active investigation tailored to each question. Experiments on OVO-Bench and StreamingBench demonstrate improvements over representative streaming video understanding methods, with overall scores of 66.07% and 59.53%, respectively. Project page: https://bbbbchan.github.io/DeltaStreamer/
- Abstract（参考訳）: DeltaStreamerは、人間がどのように観察し、記憶し、調査するかに触発された、ストリーミングビデオ理解のための新しいエージェントフレームワークである。
ビデオの理解をストリーミングするには、将来のクエリに必要な詳細を知る前に証拠を保持する必要がある。
既存のアプローチはしばしば、ビデオ履歴を圧縮する際に、不明瞭なイベント遷移と関連する詳細を省略し、行方不明の視覚的証拠を回復することができない。
DeltaStreamerは、変更対応メモリとクエリ駆動の計画と、リプレイで収集されたターゲットエビデンスを組み合わせることで、これらの制限に対処する。
クエリが到着する前に、ストリームを継続的に監視し、構造化メモリの視覚的変化を明示的に記録する。
クエリが到着すると、クエリ駆動のプランナーが必要なエビデンスを特定し、メモリ検索とターゲットリプレイをガイドする。
歴史的フレームを再考することにより、エージェントは観察中に省略された視覚的詳細を回復し、その答えを保持された記述以上の証拠に根拠付けることができる。
これは、各質問に合わせた活発な調査と連続的な観察を結びつける。
OVO-BenchとStreamingBenchの実験では、それぞれ66.07%と59.53%のスコアで、代表的なストリーミングビデオ理解方法よりも改善された。
プロジェクトページ:https://bbchan.github.io/DeltaStreamer/
関連論文リスト
- OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction [32.04438199470426]
クエリ非依存のエビデンス記録とタスク応答を共同で学習するOneStreamerを紹介します。
タイムグラウンドのローカル・ディテールのキャプションや完成イベントの要約を制作する。
これにより、すべての出力アンカーにおける監視を保ちながら、繰り返し待ち状態の優位性を低下させる。
論文 参考訳（メタデータ） (2026-10-01T14:23:03Z) - Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding [64.34948094316685]
latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。
LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
論文 参考訳（メタデータ） (2026-09-03T17:28:14Z) - StreamScout: Learning When to Look Deeper for Streaming Video Understanding [19.514073898731603]
ビデオの理解をストリーミングするには、無制限のビデオストリーム上で任意の瞬間にやってくる質問に答える必要がある。
StreamScoutは適応型推論フレームワークで、ストリームが展開するにつれて、コンテキスト内の軽量なテキストタイムラインのみを保持する。
3つのバックボーンと3つのストリーミングベンチマーク、StreamScoutとその変種は、従来よりも一貫してパフォーマンスが向上している。
論文 参考訳（メタデータ） (2026-08-31T19:35:25Z) - GROVE: Growing and Reasoning over Temporally Stratified Memory from Streaming Video Experience [67.55136435794206]
ウェアラブルアシスタントは、その視覚的履歴に関する質問に答え、その歴史が現在の状況に有効であるかどうかを認識する。
GROVEは、連続的なビデオストリームから慎重に成長した1つのメモリで両方の動作をサポートする、トレーニング不要のフレームワークである。
GROVEは、きめ細かい知覚的証拠を保持し、それをタイムスタンプ化された瞬間、一貫性のあるエピソード、そして日々のパターンに漸進的に統合する。
論文 参考訳（メタデータ） (2026-08-03T15:35:28Z) - ObjectStream: Latent Objects as Memory Anchors for Streaming Video Understanding [50.17161313335395]
ObjectStreamはトレーニング不要のフレームワークで、ストリーミングビデオ理解のためのメモリアンカーとして潜在オブジェクトを扱う。
それは3つの補完的な証拠を保存している: 永続的なオブジェクト履歴、過渡的なオブジェクト変更、そして最近の視覚的コンテキストである。
オンラインストリーミングとオフラインの長時間ビデオベンチマークの実験は、有効性と効率の両方を示している。
論文 参考訳（メタデータ） (2026-07-30T14:47:00Z) - What Should a Streaming Video Model Remember? [28.189301152079214]
ストリーミングビデオ理解モデルは、現在進行中のストリームの間、常にクエリに答えなければならない。
提案するTextbfSelectStreamは,クエリ条件のコンパクトなエビデンス予算を通じてのみ履歴情報を公開しながら,現在の観測結果を凍結したVLMに直接可視的に保持する,選択的潜在メモリフレームワークである。
実験の結果、SelectStreamは強力なオンラインストリーミング性能を示し、一般的なビデオ理解を保ち、StreamingBenchでは82.67%、OVO-Benchでは67.03%、オフラインビデオベンチマークでは74.4%に達した。
論文 参考訳（メタデータ） (2026-06-15T07:50:19Z) - StreamMemBench: Streaming Evaluation of Agent Memory for Future-Oriented Assistance [35.37934027048538]
StreamMemBenchはストリーミングベンチマークで、EgoLifeストリームからアンロックされた各エビデンスの周りに2ステップのタスクシーケンスを構築する。
証拠を診断する4つの指標は、リコール、初期証拠の使用、フィードバックの取り込み、そして後続の再利用である。
論文 参考訳（メタデータ） (2026-06-12T15:48:43Z) - OASIS: On-Demand Hierarchical Event Memory for Streaming Video Reasoning [54.43892400980814]
本稿では,ストリーミングビデオ推論のための新しいフレームワークを提案する。
OASISはストリーミング履歴を階層的なイベントに整理し、制御されたリファインメント・ショート・コンテクスト推論として推論を行う。
プラグ&プレイで、トレーニング不要で、ストリーミングMLLMのバックボーンに簡単に取り付けられる。
論文 参考訳（メタデータ） (2026-04-18T16:22:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。