論文の概要: CogStream: Context-guided Streaming Video Question Answering
- arxiv url: http://arxiv.org/abs/2506.10516v1
- Date: Thu, 12 Jun 2025 09:24:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-13 15:37:22.669581
- Title: CogStream: Context-guided Streaming Video Question Answering
- Title（参考訳）: CogStream: コンテキスト誘導のストリーミングビデオ質問に答える
- Authors: Zicheng Zhao, Kangyu Wang, Shijie Li, Rui Qian, Weiyao Lin, Huabin Liu,
- Abstract要約: 本稿では,コンテキスト誘導型ストリーミングビデオ推論(CogStream)という課題を紹介する。
CogStreamは実世界のストリーミングビデオシナリオをシミュレートし、現在のストリームに関する質問に対する回答を推論するために、最も関連する歴史的コンテキスト情報をモデルに特定する必要がある。
半自動パイプラインによって生成される広範囲で階層的な問合せ対を特徴とする高密度な注釈付きデータセットを提案する。
- 参考スコア（独自算出の注目度）: 26.362263836329998
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite advancements in Video Large Language Models (Vid-LLMs) improving multimodal understanding, challenges persist in streaming video reasoning due to its reliance on contextual information. Existing paradigms feed all available historical contextual information into Vid-LLMs, resulting in a significant computational burden for visual data processing. Furthermore, the inclusion of irrelevant context distracts models from key details. This paper introduces a challenging task called Context-guided Streaming Video Reasoning (CogStream), which simulates real-world streaming video scenarios, requiring models to identify the most relevant historical contextual information to deduce answers for questions about the current stream. To support CogStream, we present a densely annotated dataset featuring extensive and hierarchical question-answer pairs, generated by a semi-automatic pipeline. Additionally, we present CogReasoner as a baseline model. It efficiently tackles this task by leveraging visual stream compression and historical dialogue retrieval. Extensive experiments prove the effectiveness of this method. Code will be released soon.
- Abstract（参考訳）: ビデオ大言語モデル(Vid-LLMs)の進歩によりマルチモーダル理解が向上したが、文脈情報に依存しているため、ストリーミングビデオ推論における課題は継続する。
既存のパラダイムは、利用可能なすべての歴史的文脈情報をVid-LLMに供給する。
さらに、無関係なコンテキストを含むことは、重要な詳細からモデルを妨げます。
本稿では,リアルタイムストリーミングのシナリオをシミュレートするコンテキスト誘導ストリーミングビデオ推論(CogStream)という課題を紹介する。
CogStreamをサポートするために,半自動パイプラインによって生成される広範囲で階層的な質問応答ペアを備えた,高密度な注釈付きデータセットを提案する。
さらに,ベースラインモデルとしてCagReasonerを提案する。
視覚的ストリーム圧縮と過去の対話検索を活用することで,この課題に効果的に取り組む。
大規模な実験は、この方法の有効性を証明している。
コードはまもなくリリースされる。
関連論文リスト
- Streaming Video Understanding and Multi-round Interaction with Memory-enhanced Knowledge [57.01131456894516]
現在のビデオ理解モデルは、長いビデオシーケンスの処理、マルチターン対話のサポート、現実の動的シナリオへの適応に苦労している。
本稿では,ストリーミングビデオ推論と対話インタラクションのためのトレーニング不要フレームワークStreamChatを提案する。
我々のフレームワークは並列システムスケジューリング戦略を取り入れており、処理速度を向上し、レイテンシを低減し、現実世界のアプリケーションで堅牢な性能を保証する。
論文 参考訳（メタデータ） (2025-01-23T08:33:10Z) - VideoRAG: Retrieval-Augmented Generation over Video Corpus [57.68536380621672]
VideoRAGは、クエリによる関連性に基づいて、動的にビデオを取得するフレームワークである。
VideoRAGは近年のLVLM(Large Video Language Models)を利用している。
我々は,ビデオRAGの有効性を実験的に検証し,関連するベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-01-10T11:17:15Z) - StreamChat: Chatting with Streaming Video [85.02875830683637]
StreamChatは、大規模マルチモーダルモデルとストリーミングビデオコンテンツとのインタラクション機能を強化する新しいアプローチである。
動的ストリーミング入力を処理するために,フレキシブルで効率的なクロスアテンションベースのアーキテクチャを導入する。
我々は,ストリーミングインタラクションモデルのトレーニングを容易にするために,新しい高密度な命令データセットを構築した。
論文 参考訳（メタデータ） (2024-12-11T18:59:54Z) - Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams [78.72965584414368]
人間の記憶機構をシミュレートしたビデオ言語モデルFlash-VStreamを提案する。
既存のモデルと比較して、Flash-VStreamは遅延推論とVRAM消費の大幅な削減を実現している。
本稿では,オンライン動画ストリーミング理解に特化して設計された質問応答ベンチマークであるVStream-QAを提案する。
論文 参考訳（メタデータ） (2024-06-12T11:07:55Z) - Temporal Sentence Grounding in Streaming Videos [60.67022943824329]
本稿では,ストリーミングビデオにおける時間文グラウンディング(TSGSV)の新たな課題に取り組むことを目的とする。
TSGSVの目標は、ビデオストリームと所定の文クエリの関連性を評価することである。
本研究では,(1)モデルが今後のイベントを学習することを可能にするTwinNet構造,(2)冗長な視覚的フレームを除去する言語誘導型特徴圧縮器の2つの新しい手法を提案する。
論文 参考訳（メタデータ） (2023-08-14T12:30:58Z) - Video as Conditional Graph Hierarchy for Multi-Granular Question
Answering [80.94367625007352]
ビデオはフレームシーケンスで表現されるが、視覚要素はシーケンシャルではなく、セマンティック空間において階層的である。
本稿では,異なる粒度の視覚的事実をレベルワイドに織り込む条件付きグラフ階層として,動画をモデル化することを提案する。
論文 参考訳（メタデータ） (2021-12-12T10:35:19Z) - StreamHover: Livestream Transcript Summarization and Annotation [54.41877742041611]
ライブストリームの書き起こしを注釈付けして要約するフレームワークであるStreamHoverを紹介します。
合計500時間以上のビデオに抽出的要約と抽象的要約を併用したベンチマークデータセットは,既存の注釈付きコーパスよりもはるかに大きい。
我々のモデルはより一般化され、強力なベースラインよりも性能が向上することを示す。
論文 参考訳（メタデータ） (2021-09-11T02:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。