論文の概要: EC-RAG: Event Chain Retrieval-Augmented Generation for Long Video Understanding
- arxiv url: http://arxiv.org/abs/2610.08674v1
- Date: Tue, 06 Oct 2026 16:57:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.132047
- Title: EC-RAG: Event Chain Retrieval-Augmented Generation for Long Video Understanding
- Title（参考訳）: EC-RAG:ロングビデオ理解のためのイベントチェーン検索型生成
- Abstract要約: Event Chain Retrieval-Augmented Generation (EC-RAG)は、質問応答前にビデオコンテンツを明示的なイベントチェーンに整理する。
EC-RAGはまず、ビデオをセマンティックなコヒーレントなセグメントに分割し、マルチモーダル信号を使用して各セグメントを表現する。
クエリが与えられた場合、システムはチェーン内の関連するイベントを特定し、関連するモダリティからの証拠を収集する。
- 参考スコア（独自算出の注目度）: 15.316092539500152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current large video-language models (LVLMs) still face challenges when dealing with long videos, mainly because frames are often processed independently, making it difficult to capture temporal dependencies across events. Although retrieval-augmented approaches have been introduced to provide additional context, most of them operate at the frame or snippet level, which limits their ability to model how events evolve over time and relate to each other. In this paper, we propose Event Chain Retrieval-Augmented Generation (EC-RAG), a training-free framework that organizes video content into an explicit event chain before question answering. Instead of retrieving isolated frames or text segments, EC-RAG first partitions the video into semantically coherent segments, represents each segment using multi-modal signals, and then links them into a structured chain that preserves temporal order and captures inter-event relationships. Given a query, the system identifies relevant events within this chain and gathers supporting evidence from the associated modalities. Our approach offers several practical advantages: (i) event-level abstraction that better reflects how video content is naturally structured, enabling more reliable localization compared to frame-level retrieval; (ii) structured multi-modal fusion that aggregates speech, text, and visual cues at the event level, allowing complementary information to be more effectively utilized during reasoning; and (iii) plug-and-play compatibility with existing LVLM backbones, requiring no additional training or reliance on proprietary models. Experiments on Video-MME, MLVU, and LongVideoBench show that this event-centric design consistently outperforms frame-level retrieval baselines, highlighting the importance of modeling temporal structure for long-video understanding.
- Abstract（参考訳）: 現在の大規模ビデオ言語モデル(LVLM)は、主にフレームが独立して処理されるため、イベント間の時間的依存関係をキャプチャすることが難しくなるため、長いビデオを扱う際の課題に直面している。
追加のコンテキストを提供するために、検索強化されたアプローチが導入されているが、その多くはフレームやスニペットレベルで運用されており、時間とともにイベントがどのように進化するかをモデル化し、相互に関連付ける能力を制限する。
本稿では,ビデオコンテンツを質問応答の前に明示的なイベントチェーンに整理するトレーニングフリーフレームワークであるEvent Chain Retrieval-Augmented Generation (EC-RAG)を提案する。
分離されたフレームやテキストセグメントを取得する代わりに、EC-RAGはまずビデオを意味的に一貫性のあるセグメントに分割し、マルチモーダル信号を使用して各セグメントを表現し、時間的順序を保存し、イベント間の関係をキャプチャする構造的連鎖にリンクする。
クエリが与えられた場合、システムはチェーン内の関連するイベントを特定し、関連するモダリティからの証拠を収集する。
私たちのアプローチには、いくつかの実用的な利点があります。
(i)映像コンテンツの自然な構造化を反映したイベントレベルの抽象化により、フレームレベルの検索よりもより信頼性の高いローカライゼーションが可能となる。
(二)イベントレベルで音声、テキスト、視覚的手がかりを集約し、推論において補完情報をより効果的に活用する構造的マルチモーダル融合
(iii)既存のLVLMバックボーンとのプラグアンドプレイ互換性があり、プロプライエタリなモデルへの追加のトレーニングや依存は不要である。
Video-MME、MLVU、LongVideoBenchの実験では、このイベント中心の設計はフレームレベルの検索ベースラインを一貫して上回り、長時間ビデオ理解のための時間構造をモデル化することの重要性を強調している。
関連論文リスト
- Event-Causal RAG: A Retrieval-Augmented Generation Framework for Long Video Reasoning in Complex Scenarios [9.729442664774988]
Event-Causal RAGは、無限長ビデオ推論のための軽量な検索拡張フレームワークである。
ストリーミングビデオを意味的に一貫性のあるイベントにセグメントし、各イベントを構造化されたステート-イベント-ステートグラフとして表現する。
このメモリ上に、最も関連性の高いイベント因果連鎖を効率的に識別するための双方向検索戦略を設計する。
論文 参考訳（メタデータ） (2026-05-07T13:01:28Z) - MADTempo: An Interactive System for Multi-Event Temporal Video Retrieval with Query Augmentation [2.819801450768979]
我々は,AIO_Trinhが開発したビデオ検索フレームワークMADTempoを紹介した。
我々の時間探索機構は、連続したビデオセグメント間で類似度スコアを集約することにより、事象レベルの連続性をキャプチャする。
Googleイメージ検索ベースのフォールバックモジュールは、外部のWebイメージでクエリ表現を拡張する。
論文 参考訳（メタデータ） (2025-12-15T02:25:46Z) - Explicit Temporal-Semantic Modeling for Dense Video Captioning via Context-Aware Cross-Modal Interaction [33.79474114703357]
我々は,CACMI (Context-Aware Cross-Modal Interaction) という,時間-意味の明示的なモデリングフレームワークを提案する。
本モデルは,クロスモーダルフレームアグリゲーションとコンテキスト認識機能拡張という,2つのコアコンポーネントから構成される。
ActivityNet CaptionsとYouCook2データセットの実験は、CACMIが高密度ビデオキャプションタスクで最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2025-11-13T09:48:12Z) - Episodic Memory Representation for Long-form Video Understanding [52.33907540905242]
大きなビデオ言語モデルは、一般的なビデオ理解において優れているが、長い形式のコンテキストウィンドウの制限に苦労する。
人間の記憶の原理にインスパイアされたトレーニングフリーのフレームワークであるVideo-EMを紹介する。
Video-EMでは、各ベースラインに対して4-9%のパフォーマンス向上を実現し、フレームの削減を実現している。
論文 参考訳（メタデータ） (2025-08-13T04:33:07Z) - Everything Can Be Described in Words: A Simple Unified Multi-Modal Framework with Semantic and Temporal Alignment [0.0]
大規模言語モデルのための構造化テキストとして視覚と聴覚の入力を統一するフレームワークであるUMaTを提案する。
最新技術であるLong Video Question Answeringの精度を大幅に向上させる。
論文 参考訳（メタデータ） (2025-03-12T05:28:24Z) - SALOVA: Segment-Augmented Long Video Assistant for Targeted Retrieval and Routing in Long-Form Video Analysis [52.050036778325094]
本稿では,SALOVA: Segment-Augmented Video Assistantを紹介する。
87.8Kビデオの高品質なコレクションをセグメントレベルで高密度にキャプションし、シーンの連続性を捕捉し、リッチなコンテキストを維持する。
本フレームワークは,クエリに応答して,関連ビデオセグメントの正確な識別と検索を可能にすることで,現在のビデオLMMの限界を緩和する。
論文 参考訳（メタデータ） (2024-11-25T08:04:47Z) - EA-VTR: Event-Aware Video-Text Retrieval [97.30850809266725]
Event-Aware Video-Text Retrievalモデルは、優れたビデオイベント認識を通じて、強力なビデオテキスト検索能力を実現する。
EA-VTRはフレームレベルとビデオレベルの視覚表現を同時にエンコードすることができ、詳細なイベント内容と複雑なイベントの時間的相互アライメントを可能にする。
論文 参考訳（メタデータ） (2024-07-10T09:09:58Z) - Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement [72.7576395034068]
Video Corpus Moment Retrieval(VCMR)は、テキストクエリを使って、大量の未トリミングビデオから関連する瞬間を検索するための、新しいビデオ検索タスクである。
我々は、VCMRタスクにおいて、クエリとビデオの間の部分的関係を効果的に捉えることが不可欠であると主張している。
ビデオ検索には,2つのモーダルに対して異なる問合せ表現を生成するマルチモーダル・コラボレーティブ・ビデオレトリバーを導入する。
そこで本研究では,モータリティ特異的なゲートを用いたモーメントローカライザを提案する。
論文 参考訳（メタデータ） (2024-02-21T07:16:06Z) - Event-aware Video Corpus Moment Retrieval [79.48249428428802]
Video Corpus Moment Retrieval(VCMR)は、未編集ビデオの膨大なコーパス内の特定の瞬間を特定することに焦点を当てた、実用的なビデオ検索タスクである。
VCMRの既存の方法は、典型的にはフレーム対応のビデオ検索に依存し、クエリとビデオフレーム間の類似性を計算して、ビデオをランク付けする。
本研究では,ビデオ検索の基本単位として,ビデオ内のイベントを明示的に活用するモデルであるEventFormerを提案する。
論文 参考訳（メタデータ） (2024-02-21T06:55:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。