論文の概要: Streaming Video Understanding and Multi-round Interaction with Memory-enhanced Knowledge

• arxiv url: http://arxiv.org/abs/2501.13468v1
• Date: Thu, 23 Jan 2025 08:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:59:15.753836
• Title: Streaming Video Understanding and Multi-round Interaction with Memory-enhanced Knowledge
• Title（参考訳）: 記憶力のある知識を用いたマルチラウンド映像理解とマルチラウンドインタラクション
• Authors: Haomiao Xiong, Zongxin Yang, Jiazuo Yu, Yunzhi Zhuge, Lu Zhang, Jiawen Zhu, Huchuan Lu,
• Abstract要約: 現在のビデオ理解モデルは、長いビデオシーケンスの処理、マルチターン対話のサポート、現実の動的シナリオへの適応に苦労している。 本稿では,ストリーミングビデオ推論と対話インタラクションのためのトレーニング不要フレームワークStreamChatを提案する。 我々のフレームワークは並列システムスケジューリング戦略を取り入れており、処理速度を向上し、レイテンシを低減し、現実世界のアプリケーションで堅牢な性能を保証する。
• 参考スコア（独自算出の注目度）: 57.01131456894516
• License:
• Abstract: Recent advances in Large Language Models (LLMs) have enabled the development of Video-LLMs, advancing multimodal learning by bridging video data with language tasks. However, current video understanding models struggle with processing long video sequences, supporting multi-turn dialogues, and adapting to real-world dynamic scenarios. To address these issues, we propose StreamChat, a training-free framework for streaming video reasoning and conversational interaction. $\StreamChat$ leverages a novel hierarchical memory system to efficiently process and compress video features over extended sequences, enabling real-time, multi-turn dialogue. Our framework incorporates a parallel system scheduling strategy that enhances processing speed and reduces latency, ensuring robust performance in real-world applications. Furthermore, we introduce StreamBench, a versatile benchmark that evaluates streaming video understanding across diverse media types and interactive scenarios, including multi-turn interactions and complex reasoning tasks. Extensive evaluations on StreamBench and other public benchmarks demonstrate that StreamChat significantly outperforms existing state-of-the-art models in terms of accuracy and response times, confirming its effectiveness for streaming video understanding. Code is available at StreamChat: https://github.com/hmxiong/StreamChat.
• Abstract（参考訳）: 近年のLarge Language Models (LLM) の進歩により、ビデオ-LLMの開発が可能となり、ビデオデータを言語タスクでブリッジすることでマルチモーダル学習が進められている。 しかし、現在のビデオ理解モデルは、長いビデオシーケンスの処理、マルチターン対話のサポート、現実の動的シナリオへの適応に苦慮している。 このような問題に対処するため,StreamChatは,ストリーミングビデオ推論と対話インタラクションのためのトレーニング不要のフレームワークである。 $\StreamChat$は、新しい階層型メモリシステムを活用して、拡張シーケンス上でビデオ機能を効率的に処理し、圧縮し、リアルタイムのマルチターン対話を可能にする。 我々のフレームワークは並列システムスケジューリング戦略を取り入れており、処理速度を向上し、レイテンシを低減し、現実世界のアプリケーションで堅牢な性能を保証する。 さらに,マルチターンインタラクションや複雑な推論タスクを含む,多様なメディアタイプや対話的なシナリオにわたるストリーミングビデオ理解を評価する,汎用的なベンチマークであるStreamBenchを紹介する。 StreamBenchや他の公開ベンチマークに対する大規模な評価は、StreamChatが既存の最先端モデルを精度と応答時間で大幅に上回り、ストリーミングビデオ理解の有効性を確認していることを示している。 StreamChat のコードは https://github.com/hmxiong/StreamChat で公開されている。

関連論文リスト

• SVBench: A Benchmark with Temporal Multi-Turn Dialogues for Streaming Video Understanding [56.78088668917983]
  SVBenchは時間的マルチターン質問応答チェーンを用いた先駆的ベンチマークである。 半自動アノテーションパイプラインを設計し、49,979対のQA(QA)と1,353本のストリーミングビデオを取得する。 対話とストリーミング評価の14モデルから得られた実験結果から, クローズドソースのGPT-4oは他より優れているが, 大部分のオープンソースLVLMは, 長文のストリーミングビデオ理解に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2025-02-15T14:29:44Z)
• StreamChat: Chatting with Streaming Video [85.02875830683637]
  StreamChatは、大規模マルチモーダルモデルとストリーミングビデオコンテンツとのインタラクション機能を強化する新しいアプローチである。 動的ストリーミング入力を処理するために,フレキシブルで効率的なクロスアテンションベースのアーキテクチャを導入する。 我々は,ストリーミングインタラクションモデルのトレーニングを容易にするために,新しい高密度な命令データセットを構築した。
  論文  参考訳（メタデータ） (2024-12-11T18:59:54Z)
• OmChat: A Recipe to Train Multimodal Language Models with Strong Long Context and Video Understanding [34.17871202332497]
  OmChatは、長いコンテキストとビデオ理解タスクをうまく扱うように設計されたモデルである。 ダイナミックな視覚符号化プロセスを使用して、様々な解像度の画像を効果的に処理し、さまざまな画質の細部をキャプチャする。 OmChatは、最大512Kのコンテキスト長をサポートすることで、複数の画像やビデオを含むタスクにおいて、有望なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-07-06T02:16:10Z)
• VideoLLM-online: Online Video Large Language Model for Streaming Video [27.073238234038826]
  本稿では,ビデオストリーム内での時間的整合性,長コンテキスト性,リアルタイムな会話を可能にする,新しいLearning-In-Video-Streamフレームワークを提案する。 当社のフレームワークは,A100 GPU上で10FPS以上の5分間のビデオクリップでストリーミング対話をサポートする。 また、認識、キャプション、予測など、パブリックなオフラインビデオベンチマークで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-06-17T17:55:32Z)
• Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams [78.72965584414368]
  人間の記憶機構をシミュレートしたビデオ言語モデルFlash-VStreamを提案する。 既存のモデルと比較して、Flash-VStreamは遅延推論とVRAM消費の大幅な削減を実現している。 本稿では,オンライン動画ストリーミング理解に特化して設計された質問応答ベンチマークであるVStream-QAを提案する。
  論文  参考訳（メタデータ） (2024-06-12T11:07:55Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• MVBench: A Comprehensive Multi-modal Video Understanding Benchmark [63.14000659130736]
  本稿では、MVBenchという総合的なマルチモーダルビデオ理解ベンチマークを紹介する。 まず、これらの時間的タスクを定義するための新しい静的-動的手法を提案する。 そして,タスク定義に従って,公開ビデオアノテーションを複数選択QAに自動的に変換し,各タスクを評価する。
  論文  参考訳（メタデータ） (2023-11-28T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。