論文の概要: FlowNar: Scalable Streaming Narration for Long-Form Videos
- arxiv url: http://arxiv.org/abs/2606.00620v1
- Date: Sat, 30 May 2026 08:51:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.560988
- Title: FlowNar: Scalable Streaming Narration for Long-Form Videos
- Title（参考訳）: FlowNar: 長期ビデオのためのスケーラブルなストリーミングナレーション
- Abstract要約: FlowNarはスケーラブルなストリーミングビデオナレーションのための新しいフレームワークである。
FlowNarの中核は、歴史的視覚的コンテキスト削除のための動的コンテキスト管理戦略である。
Ego4D、EgoExo4D、EpicKitchens100データセットの実験は、FlowNarが強力なベースラインよりもナレーション品質を大幅に改善していることを示している。
- 参考スコア（独自算出の注目度）: 24.674831574110645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent Large Multimodal Models (LMMs), primarily designed for offline settings, are ill-suited for the dynamic requirements of streaming video. While recent online adaptations improve real-time processing, they still face critical scalability challenges, with resource demands typically growing at least linearly with video duration. To overcome this bottleneck, we propose FlowNar, a novel framework for scalable streaming video narration. The core of FlowNar is a dynamic context management strategy for historical visual context removal, combined with our CLAM (Cross Linear Attentive Memory) module for streaming visual history retention, ensuring bounded visual memory usage and computational complexity, crucial for efficient streaming. We also introduce a realistic self-conditioned evaluation protocol and complementary evaluation metrics to assess streaming narration models under deployment-like conditions. Experiments on the Ego4D, EgoExo4D, and EpicKitchens100 datasets demonstrate that FlowNar substantially improves narration quality over strong baselines while being highly efficient, supporting processing of 10$\times$ longer videos and achieving 3$\times$ higher throughput (FPS). The code is available at https://github.com/zeyun-zhong/FlowNar.
- Abstract（参考訳）: 最近のLMM(Large Multimodal Models)は、主にオフライン設定用に設計されており、ストリーミングビデオのダイナミックな要求に不適である。
最近のオンライン適応はリアルタイム処理を改善するが、リソースの要求は通常、ビデオの時間とともに少なくとも線形に増加するため、重要なスケーラビリティの課題に直面している。
このボトルネックを克服するために、スケーラブルなストリーミングビデオナレーションのための新しいフレームワークであるFlowNarを提案する。
FlowNarの中核は、歴史的視覚的コンテキスト削除のための動的コンテキスト管理戦略であり、当社のCLAM(Cross Linear Attentive Memory)モジュールと組み合わせて、視覚的履歴の保持をストリーミングし、境界付きビジュアルメモリの使用と計算複雑性を確保することで、効率的なストリーミングに不可欠です。
また,現実的な自己条件評価プロトコルと相補的評価指標を導入し,配信条件下でのストリーミングナレーションモデルの評価を行う。
Ego4D、EgoExo4D、EpicKitchens100データセットの実験では、FlowNarは強力なベースラインよりもナレーション品質が大幅に向上し、高効率であり、10$\times$長ビデオの処理をサポートし、3$\times$高スループット(FPS)を実現している。
コードはhttps://github.com/zeyun-zhong/FlowNarで公開されている。
関連論文リスト
- StreamFlow: Dynamic Memory Flows for Streaming Video Understanding [65.10324190760602]
StreamFlowは、歴史的視覚情報への動的なオンデマンドアクセスを可能にする効率的なビジュアルメモリフレームワークである。
最先端のストリーミングビデオ理解性能を達成し、StreamingBenchの全体的な精度は67.73%に達した。
バニラ設定とは対照的に、視覚的注意スコア(VAS)を59.1%改善し、それぞれエンドツーエンドのレイテンシとピークメモリを50.4%、21.1%削減した。
論文 参考訳（メタデータ） (2026-08-11T14:19:03Z) - Harnessing Streaming Video in the Wild [53.23721420272668]
VLM(Vision-Language Models)は、ビデオコールアシスタント、ライブコメンタリー、エンボディロボットなどのアプリケーションでビデオストリームを処理するためにますます必要とされる。
理想的なストリーミングシステムは、アクティブなインタラクション、長期メモリ、リアルタイム処理をサポートする必要がある。
既存のVLMはオフラインのビデオ理解に優れていますが、ストリーミング機能に欠け、ストリーミングデプロイメント専用のインフラストラクチャが欠如しています。
論文 参考訳（メタデータ） (2026-06-07T13:00:19Z) - Thinking in Streaming Video [30.61790766076081]
ThinkStreamは、Watch-Think-Speakパラダイムに基づいた、ビデオ推論をストリーミングするためのフレームワークである。
Reasoning-Compressed Streaming Memory (RCSM) は、中間的推論トレースをコンパクトなセマンティックメモリとして扱う。
複数のストリーミングビデオベンチマークの実験では、ThinkStreamが既存のオンラインビデオモデルを大幅に上回っていることが示されている。
論文 参考訳（メタデータ） (2026-03-13T12:33:36Z) - video-SALMONN S: Streaming Audio-Visual LLMs Beyond Length Limits via Memory [51.03819128505358]
Video-SALMONN Sは、まず1FPSと360p解像度で3時間ビデオを処理する。
テストタイムトレーニングメモリモジュールは、トークン表現を継続的に更新して、長距離依存関係をキャプチャする。
プロンプト依存メモリリーダは、固定サイズメモリからコンテキスト関連コンテンツを検索する。
論文 参考訳（メタデータ） (2025-10-13T08:20:15Z) - StreamForest: Efficient Online Video Understanding with Persistent Event Memory [37.73273040737155]
StreamForestは、ビデオの理解をストリーミングするために設計されている。
微粒な時空間ウィンドウは、現在のシーン知覚を改善するために、詳細な短期的な視覚的手がかりをキャプチャする。
OnlineITはリアルタイム認識と将来の予測の両方においてMLLMのパフォーマンスを大幅に向上させる。
論文 参考訳（メタデータ） (2025-09-29T14:53:57Z) - Mixture of Contexts for Long Video Generation [72.96361488755986]
我々は長文ビデオ生成を内部情報検索タスクとして再放送する。
本稿では,学習可能なスパークアテンション・ルーティング・モジュールであるMixture of Contexts (MoC) を提案する。
データをスケールしてルーティングを徐々に分散させていくと、そのモデルは計算を適切な履歴に割り当て、アイデンティティ、アクション、シーンを数分のコンテンツで保存する。
論文 参考訳（メタデータ） (2025-08-28T17:57:55Z) - LiveVLM: Efficient Online Video Understanding via Streaming-Oriented KV Cache and Retrieval [13.891391928767195]
LiveVLMは、ストリーミング、オンラインビデオ理解、リアルタイムインタラクションに特化したトレーニング不要のフレームワークである。
LiveVLMはストリーミング指向のKVキャッシュを構築し、ビデオストリームをリアルタイムで処理し、長期のビデオの詳細を保持し、冗長なKVを排除する。
新しい質問が提案されると、LiveVLMは、短期と長期の両方の視覚情報を効率的に取得するオンラインの質問回答プロセスを導入する。
論文 参考訳（メタデータ） (2025-05-21T08:47:15Z) - STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。
我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文 参考訳（メタデータ） (2025-03-06T06:17:38Z) - Streaming Video Understanding and Multi-round Interaction with Memory-enhanced Knowledge [57.01131456894516]
現在のビデオ理解モデルは、長いビデオシーケンスの処理、マルチターン対話のサポート、現実の動的シナリオへの適応に苦労している。
本稿では,ストリーミングビデオ推論と対話インタラクションのためのトレーニング不要フレームワークStreamChatを提案する。
我々のフレームワークは並列システムスケジューリング戦略を取り入れており、処理速度を向上し、レイテンシを低減し、現実世界のアプリケーションで堅牢な性能を保証する。
論文 参考訳（メタデータ） (2025-01-23T08:33:10Z) - Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams [78.72965584414368]
人間の記憶機構をシミュレートしたビデオ言語モデルFlash-VStreamを提案する。
既存のモデルと比較して、Flash-VStreamは遅延推論とVRAM消費の大幅な削減を実現している。
本稿では,オンライン動画ストリーミング理解に特化して設計された質問応答ベンチマークであるVStream-QAを提案する。
論文 参考訳（メタデータ） (2024-06-12T11:07:55Z) - MemFlow: Optical Flow Estimation and Prediction with Memory [54.22820729477756]
本稿では,メモリを用いた光フロー推定と予測をリアルタイムに行うMemFlowを提案する。
本手法では,メモリの読み出しと更新を行うモジュールをリアルタイムに収集する。
われわれのアプローチは、過去の観測に基づいて、将来の光流の予測にシームレスに拡張する。
論文 参考訳（メタデータ） (2024-04-07T04:56:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。