論文の概要: StreamTTT: Reconciling Real-Time Perception and Long-Term Memory in Streaming VLMs
- arxiv url: http://arxiv.org/abs/2608.13416v1
- Date: Thu, 13 Aug 2026 16:10:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.593522
- Title: StreamTTT: Reconciling Real-Time Perception and Long-Term Memory in Streaming VLMs
- Title（参考訳）: StreamTTT: ストリーミングVLMにおけるリアルタイム認識と長期記憶の再構築
- Abstract要約: StreamTTTは、アテンションコンテキストの外の、オンライン更新された高速ウェイトに長距離履歴を書き込む。
OVO-Benchでは、StreamTTT-4BはSimpleStream-4Bより1.4ポイント、後方トレースでは3.7ポイント優れていた。
- 参考スコア（独自算出の注目度）: 53.38747124102543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans effortlessly perceive the present while remembering the past, yet streaming VLMs often trade off real-time perception against long-term memory. Prior work shows that shortening the context can sharpen current-scene perception at the expense of long-range recall. To reconcile these abilities, we introduce StreamTTT, which writes long-range history into online-updated fast weights outside the attention context. This leaves a short sliding key-value cache dedicated to recent evidence, mitigating attention dilution. We train StreamTTT jointly on offline long-video QA and a newly constructed real-time QA corpus. On OVO-Bench, StreamTTT-4B outperforms SimpleStream-4B by 1.4 points in real-time perception and 3.7 points in backward tracing. It also remains competitive with the larger SimpleStream-8B on the Real-Time Visual Understanding (RTVU) subset of StreamingBench. Our code will be released.
- Abstract（参考訳）: 人間は過去を思い出しながら現在を熱心に知覚するが、ストリーミングのVLMは長期記憶とリアルタイムの知覚を交換することが多い。
以前の研究は、コンテキスト短縮は、長距離リコールを犠牲にして、現在のシーンの認識を鋭くすることができることを示している。
本稿では,これらの能力を整理するためにStreamTTTを導入し,注意コンテキストの外側のオンライン更新された高速ウェイトに長距離履歴を書き込みます。
これにより、最近の証拠専用の短いスライディングキーバリューキャッシュが残され、注意の希釈が軽減される。
オフラインの長ビデオQAと、新たに構築されたリアルタイムQAコーパスで、StreamTTTを共同でトレーニングする。
OVO-Benchでは、StreamTTT-4BはSimpleStream-4Bより1.4ポイント、後方トレースでは3.7ポイント優れていた。
また、StreamingBenchのReal-Time Visual Understanding (RTVU)サブセットのSimpleStream-8Bとの競争も続いている。
私たちのコードは解放されます。
関連論文リスト
- StreamFlow: Dynamic Memory Flows for Streaming Video Understanding [65.10324190760602]
StreamFlowは、歴史的視覚情報への動的なオンデマンドアクセスを可能にする効率的なビジュアルメモリフレームワークである。
最先端のストリーミングビデオ理解性能を達成し、StreamingBenchの全体的な精度は67.73%に達した。
バニラ設定とは対照的に、視覚的注意スコア(VAS)を59.1%改善し、それぞれエンドツーエンドのレイテンシとピークメモリを50.4%、21.1%削減した。
論文 参考訳（メタデータ） (2026-08-11T14:19:03Z) - ObjectStream: Latent Objects as Memory Anchors for Streaming Video Understanding [50.17161313335395]
ObjectStreamはトレーニング不要のフレームワークで、ストリーミングビデオ理解のためのメモリアンカーとして潜在オブジェクトを扱う。
それは3つの補完的な証拠を保存している: 永続的なオブジェクト履歴、過渡的なオブジェクト変更、そして最近の視覚的コンテキストである。
オンラインストリーミングとオフラインの長時間ビデオベンチマークの実験は、有効性と効率の両方を示している。
論文 参考訳（メタデータ） (2026-07-30T14:47:00Z) - Don't Pause! Every prediction matters in a streaming video [55.509551643600794]
一般的なストリーミング知覚とアシスト機能を評価するマルチターンプロアクティブクエリを特徴とするSPOT-Benchを提案する。
SPOT-BenchにはTimeliness-F1が付属している。
i)オフラインモデルは、確実にイベントを検知するが、スパム予測は失敗する; (ii) サイレントをトレーニングした後、スパムを減らし、応答を低下させる; (iii) ストリーミングビデオの半分は応答を期待しない。
論文 参考訳（メタデータ） (2026-04-27T11:07:03Z) - A Simple Baseline for Streaming Video Understanding [44.77185258429313]
直近のNフレームのみをオフザシェルフVLMに供給するスライディングウィンドウベースラインを形式化する。
OVO-BenchとStreamingBenchをベースとした13のオフラインおよびオンラインビデオLLMベースラインに対して評価を行った。
論文 参考訳（メタデータ） (2026-04-02T17:58:04Z) - Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously [69.0264594684213]
Video Streaming Thinking (VST) はビデオ理解のための新しいパラダイムである。
ストリーミング中のビデオクリップの推論を起動するメカニズムを視聴しながら思考をサポートする。
VSTはリアルタイム応答性を維持しながら、タイムリーな理解とコヒーレント認知を改善する。
論文 参考訳（メタデータ） (2026-03-12T17:59:51Z) - Event-VStream: Event-Driven Real-Time Understanding for Long Video Streams [11.495597616926274]
Event-VStreamは、連続した動画を、個別にセマンティックに一貫性のあるイベントのシーケンスとして表現する。
システムは、動き、意味、予測的手がかりを統合することで意味のある状態遷移を検出する。
システムは2時間のEgo4Dストリームで約70%のGPT-5の勝利率を維持している。
論文 参考訳（メタデータ） (2026-01-22T05:05:53Z) - StreamingVLM: Real-Time Understanding for Infinite Video Streams [23.94087606884915]
StreamingVLMは、無限視覚入力のリアルタイムで安定した理解のために設計されたモデルである。
私たちのアプローチは、トレーニングとストリーミング推論を整合させる統合フレームワークです。
Inf-Streams-Evalでは、StreamingVLMはGPT-4O miniに対して66.18%の勝利率を獲得し、1つのNVIDIA H100上で最大8FPSで安定したリアルタイムパフォーマンスを維持する。
論文 参考訳（メタデータ） (2025-10-10T17:59:58Z) - StreamForest: Efficient Online Video Understanding with Persistent Event Memory [37.73273040737155]
StreamForestは、ビデオの理解をストリーミングするために設計されている。
微粒な時空間ウィンドウは、現在のシーン知覚を改善するために、詳細な短期的な視覚的手がかりをキャプチャする。
OnlineITはリアルタイム認識と将来の予測の両方においてMLLMのパフォーマンスを大幅に向上させる。
論文 参考訳（メタデータ） (2025-09-29T14:53:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。