論文の概要: StreamArena: Toward Continuous, Interactive, and Long-Horizon Agentic Streaming Video Understanding

• arxiv url: http://arxiv.org/abs/2608.05703v1
• Date: Thu, 06 Aug 2026 07:46:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.844431
• Title: StreamArena: Toward Continuous, Interactive, and Long-Horizon Agentic Streaming Video Understanding
• Title（参考訳）: StreamArena: 連続的、インタラクティブで、長期にわたるエージェントによるストリーミングビデオ理解を目指して
• Abstract要約: 時間スケールでインタラクティブなストリーミングビデオ理解のためのベンチマークであるStreamArenaを紹介する。 多様なシステムに対する評価は、連続的な相互作用と長距離多モード理解の間の緊張を露呈する。 レイテンシクリティカルなインタラクションとアクティブな監視を,独立したスケジュール作業者に割り当てる2層アーキテクチャであるStreamMindとの緊張に対処する。
• 参考スコア（独自算出の注目度）: 42.88155526332792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying autonomous multimodal agents in continuous, real-world environments requires them to ingest unbounded audio-visual streams and maintain hour-scale memory. However, current evaluations predominantly rely on brief clips and multiple-choice formats. This design allows minimal baselines that process only the last four frames to match or surpass complex streaming models, while answer options also expose language shortcuts. We introduce StreamArena, a benchmark for hour-scale, interactive streaming video understanding. StreamArena contains 243 full-length videos averaging 88.8 minutes and 3,646 rigorously annotated, open-ended question-answer pairs that evaluate real-time perception, historical retrospection, proactive interaction, and multimodal tool utilization. Evaluation across diverse systems exposes a tension between continuous interaction and long-horizon multimodal comprehension. Methods that retain only recent frames cannot recover distant events, methods that convert past observations into text lose visual evidence, and methods that repeatedly compress visual memory struggle to preserve fine-grained details over time. We address this tension with StreamMind, a two-tier architecture that assigns latency-critical interaction and proactive monitoring to independently scheduled frontend workers, while backend workers asynchronously construct persistent multimodal memory and perform historical recall and external search. StreamMind outperforms existing streaming baselines across all four capabilities and reduces query-to-answer latency by reusing persistent state.
• Abstract（参考訳）: 継続的で現実的な環境に自律的なマルチモーダルエージェントを配置するには、無制限のオーディオヴィジュアルストリームを取り込み、時間スケールのメモリを維持する必要がある。 しかし、現在の評価は主に短いクリップと複数選択形式に依存している。 この設計により、最後の4フレームしか処理しない最小限のベースラインを、複雑なストリーミングモデルにマッチまたは超えるようにし、回答オプションは言語ショートカットを公開することができる。 時間スケールでインタラクティブなストリーミングビデオ理解のためのベンチマークであるStreamArenaを紹介する。 StreamArenaには、88.8分の平均243本のフル長ビデオと、3,646本の厳密な注釈付き質問応答ペアが含まれており、リアルタイムの認識、過去の振り返り、アクティブなインタラクション、マルチモーダルツールの利用を評価している。 多様なシステムに対する評価は、連続的な相互作用と長距離多モード理解の間の緊張を露呈する。 最新のフレームのみを保持する方法は、遠く離れた事象を回復できない、過去の観測をテキストに変換する方法は、視覚的証拠を失う、そして視覚的記憶を何度も圧縮する方法は、時間とともに細かな詳細を保存するのに苦労する。 レイテンシクリティカルなインタラクションとプロアクティブな監視を独立にスケジュールされたフロントエンドワーカに割り当てる2層アーキテクチャであるStreamMindと、バックエンドワーカが非同期に永続的なマルチモーダルメモリを構築し、過去のリコールと外部サーチを実行することで、この緊張に対処する。 StreamMindは、既存のストリーミングベースラインを4つの機能すべてで上回り、永続状態の再利用によるクエリ・トゥ・アンサーのレイテンシを低減する。

関連論文リスト

• LiveStarPro: Proactive Streaming Video Understanding with Hierarchical Memory for Long-Horizon Streams [59.485485426790966]
  このLiveStarProは、長時間のストリーミング上でのプロアクティブなビデオ理解のために設計されたライブストリーミングアシスタントである。 LiveStarProは既存のメソッドを一貫して上回り、セマンティックな正確性は28.9%向上した。 そのストリーミングキーバリューキャッシュは、キャッシュなしで同じモデル上で1.58倍の推論速度を得る。
  論文  参考訳（メタデータ） (2026-06-16T11:18:05Z)
• Harnessing Streaming Video in the Wild [53.23721420272668]
  VLM(Vision-Language Models)は、ビデオコールアシスタント、ライブコメンタリー、エンボディロボットなどのアプリケーションでビデオストリームを処理するためにますます必要とされる。 理想的なストリーミングシステムは、アクティブなインタラクション、長期メモリ、リアルタイム処理をサポートする必要がある。 既存のVLMはオフラインのビデオ理解に優れていますが、ストリーミング機能に欠け、ストリーミングデプロイメント専用のインフラストラクチャが欠如しています。
  論文  参考訳（メタデータ） (2026-06-07T13:00:19Z)
• Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding [69.296913137409]
  オンラインビデオ理解のための新しいパラダイム: SVLS(Streaming Video-Language Synchrony)を紹介する。 LyraVは、2つのコアイノベーションを備えた階層的なコントロールフレームワーク上に構築されたライブストリーミングアシスタントである。 まず、フレーム駆動トランジションコントローラ(FDTC)は、いつ話を続けるか、新しいレスポンスを開始するか、沈黙を保つか、といった、高レベルのセマンティックな決定を行います。 第二に、プラグアンドプレイの軽量予測モジュールであるStreaming Token Pacer (SToP)は、動的に言語生成率に適応し、視覚的コンテンツのペースにマッチする。
  論文  参考訳（メタデータ） (2026-06-05T07:29:20Z)
• StreamOV: Streaming Omni-Video Understanding via Evidence-Guided Memory and Response Triggering [39.92453666681465]
  StreamOVは、バウンドメモリとプロアクティブ応答トリガを備えた効率的なオンラインオーディオ視覚推論のための、新しいStreaming Omni-Video理解フレームワークである。 応答のタイミングを決定するために、隠れ状態駆動のトリガーを使用しており、明示的なサイレントトーケン生成と外部ルータを避けている。 さまざまなストリーミングとビデオのベンチマークで最先端のパフォーマンスを実現し、オンラインとオフラインの両方のビデオ理解に有効であることを実証している。
  論文  参考訳（メタデータ） (2026-05-25T09:23:19Z)
• Advancing Narrative Long Video Generation via Training-Free Identity-Aware Memory [79.01059178883817]
  IAMFlowはトレーニング不要のID対応メモリフレームワークで、永続的なエンティティのIDを明示的にモデル化し追跡する。 VLMは、レンダリングフレームから属性を非同期に検証し、洗練し、暗黙の類似性ベースのマッチングの代わりに明示的なエンティティ追跡を可能にする。 NarraStream-Benchは,6次元にまたがる324のマルチプロンプトスクリプトを備えた,ナラストリームビデオ生成のためのベンチマークである。
  論文  参考訳（メタデータ） (2026-05-18T17:54:34Z)
• AURA: Always-On Understanding and Real-Time Assistance via Video Streams [37.80002196035961]
  AURA(Always-On Understanding and Real-Time Assistance)は、エンドツーエンドのストリーミングビジュアルインタラクションフレームワークである。 これにより、統合されたVideoLLMがビデオストリームを継続的に処理し、リアルタイムの質問応答とプロアクティブ応答の両方をサポートする。 AURAはストリーミングベンチマークで最先端のパフォーマンスを実現し、2つの80Gアクセラレータ上で2FPSで動作するASRとTSを備えたリアルタイムデモシステムをサポートする。
  論文  参考訳（メタデータ） (2026-04-05T16:53:46Z)
• Think While Watching: Online Streaming Segment-Level Memory for Multi-Turn Video Reasoning in Multimodal Large Language Models [25.48403877647779]
  Think While Watchingは、メモリアンコールされたストリーミングビデオ推論フレームワークだ。 マルチターンインタラクション中の連続セグメントレベルのメモリを保存する。 シングルラウンド精度はStreamingBenchで2.6%、OVO-Benchで3.79%向上している。
  論文  参考訳（メタデータ） (2026-03-12T13:13:50Z)
• InternLM-XComposer2.5-OmniLive: A Comprehensive Multimodal System for Long-term Streaming Video and Audio Interactions [104.90258030688256]
  本研究は,ストリーミング映像とオーディオ入力とのリアルタイムインタラクションを実現するために,非絡み合いのストリーミング知覚,推論,メモリ機構を導入している。 このプロジェクトは人間のような認知をシミュレートし、多モーダルな大規模言語モデルが時間とともに継続的かつ適応的なサービスを提供できるようにする。
  論文  参考訳（メタデータ） (2024-12-12T18:58:30Z)
• Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams [78.72965584414368]
  人間の記憶機構をシミュレートしたビデオ言語モデルFlash-VStreamを提案する。 既存のモデルと比較して、Flash-VStreamは遅延推論とVRAM消費の大幅な削減を実現している。 本稿では,オンライン動画ストリーミング理解に特化して設計された質問応答ベンチマークであるVStream-QAを提案する。
  論文  参考訳（メタデータ） (2024-06-12T11:07:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。