論文の概要: Concord: A Video Relational Algebra for Cross-Modal Query Optimization
- arxiv url: http://arxiv.org/abs/2609.05756v1
- Date: Fri, 04 Sep 2026 22:37:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.12923
- Title: Concord: A Video Relational Algebra for Cross-Modal Query Optimization
- Title（参考訳）: Concord: クロスモーダルクエリ最適化のためのビデオリレーショナル代数
- Abstract要約: セマンティックなビデオクエリにより、ユーザは自然言語プロンプトを埋め込んで、マルチモーダルな大規模言語モデル(MLLM)を使ってビデオを解釈できる。
MLLMは、メディアの数時間を処理して、関連する出力のほんの数秒だけを返す。
ビデオクエリを表現し,セマンティックに最適化するシステムであるConcordを提案する。
- 参考スコア（独自算出の注目度）: 7.146068701431452
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semantic video queries let users embed natural language prompts and use multimodal large language models (MLLMs) to interpret the video. Such queries are increasingly popular for querying video data. However, their expressiveness comes at a steep cost: an MLLM may process hours of media to return only seconds of relevant output, making naive execution slow, expensive, and inaccurate. We propose Concord, a system for expressing and optimizing semantic video queries. We makes three contributions. First, we introduce Video Relational Algebra (VRA), a nested algebra over videos, transcripts, frames, and object tracks that captures common semantic video operations. Second, we derive a set of approximate optimizations that rewrite VRA queries to reduce MLLM usage while improving result quality. For narrated video, Concord either processes transcripts instead of video or uses them to identify video clips for MLLM processing. For cross-camera queries without narration, detection and tracking replace a whole-video MLLM join with a track-level relational join. Third, we evaluate Concord on real-world videos. Across 4.59 hours of soccer broadcasts and 3.92 hours of lectures, transcript-to-video queries send only 5.32% and 2.47% of source-video duration to the MLLM and reduce MLLM cost by up to 87%. In two five-second highway clips with 18 manually adjudicated cross-camera vehicles, a Detect-Track-Join query improves F1 from .364 to .813 while making no MLLM calls. See our project at https://concord-db.github.io/.
- Abstract（参考訳）: セマンティックなビデオクエリにより、ユーザは自然言語プロンプトを埋め込んで、マルチモーダルな大規模言語モデル(MLLM)を使ってビデオを解釈できる。
このようなクェリは、ビデオデータのクェリにますます人気がある。
MLLMは、メディアの数時間を処理して、関連する出力をわずか数秒だけ返却するので、単純な実行が遅く、高価で、不正確なものになる。
セマンティックビデオクエリの表現と最適化を行うシステムであるConcordを提案する。
私たちは3つの貢献をします。
まず、ビデオ上のネスト代数であるVideo Relational Algebra(VRA)を紹介し、一般的なセマンティックなビデオ操作をキャプチャする。
第2に,VRAクエリを書き換えてMLLM使用率を低減し,結果の質を向上する近似最適化のセットを導出する。
ナレーション付きビデオでは、Concordはビデオの代わりに書き起こしを処理するか、MLLM処理のためにビデオクリップを識別するために使用する。
ナレーションのないクロスカメラクエリでは、ビデオ全体のMLLMをトラックレベルのリレーショナル結合に置き換える。
第3に、Concordを現実世界のビデオで評価する。
サッカー放送の4.59時間、講義の3.92時間にわたって、スクリプティング・トゥ・ビデオのクエリは、MLLMにソースビデオ期間の5.32%と2.47%しか送信せず、MLLMのコストを最大87%削減している。
手動で18台のクロスカメラ車両を調整した2つの5秒のハイウェイクリップでは、ディテクター・トラック・ジョイン・クエリはF1を.364から.813に改善し、MLLMの呼び出しは行わない。
当社のプロジェクトについては、https://concord-db.github.io/を参照してください。
関連論文リスト
- Prompting-MammAlps: Fine-Grained Text-to-Video Retrieval for Camera-Trap Data [49.717366362764956]
大規模ビデオ言語モデル(VLM)に基づくテキスト間検索(TVR)手法は、簡単なテキストクエリで記述することで、興味のあるイベントを検索する可能性がある。
本稿では,最初のカメラトラップTVベンチマークであるPrompting-MammAlpsを紹介し,細粒度で解釈可能なTVR法を提案する。
具体的には、視覚変換器を訓練し、時間的動作のローカライゼーションを行い、その出力を構造化されたテキストに変換し、各ビデオを記述する。
エスロジにインスパイアされたクエリは,LLM(Large-Language Model)ベースのエージェントによって処理される
論文 参考訳（メタデータ） (2026-07-10T18:09:41Z) - Benchmarking Visual State Tracking in Multimodal Video Understanding [67.73383974166462]
マルチモーダル大言語モデル(MLLM)における視覚状態追跡の診断のためのVisual STAte Tracking benchmark (VSTAT)を導入する。
VSTATは、合成ビデオと実世界のビデオの両方から834のクリップで構成され、1500の質問と組み合わせて、1つのフレームまたはショートセグメントから答えられない。
MLLMは理由を見つけ、テキストで正しく追跡するが、追跡するイベントを視覚的に知覚することができない。
論文 参考訳（メタデータ） (2026-06-02T17:12:05Z) - Towards Effective and Efficient Long Video Understanding of Multimodal Large Language Models via One-shot Clip Retrieval [57.88666884515147]
ワンショットビデオクリップに基づく検索オーグメンテーション(OneClip-RAG)を提案する。
OneClip-RAGは、ビデオ理解のためのビデオクリップの利点をフル活用している。
また、新しいクエリ誘導ビデオチャンキングアルゴリズムも備えている。
論文 参考訳（メタデータ） (2025-12-09T09:40:20Z) - An Empirical Study for Representations of Videos in Video Question Answering via MLLMs [4.726627693005334]
マルチモーダルな大言語モデルは近年,ビデオ質問応答において顕著な進歩を遂げている。
ビデオ表現がMLLMに最も有効なのか、また、異なるモダリティがタスクの精度と計算効率のバランスをとるのかは、まだ不明である。
論文 参考訳（メタデータ） (2025-10-14T09:02:22Z) - Free-MoRef: Instantly Multiplexing Context Perception Capabilities of Video-MLLMs within Single Inference [88.57742986765238]
Free-MoRefは、ビデオMLLMのコンテキスト認識能力を多重化するトレーニング不要のアプローチである。
実験によると、Free-MoRefは1つのA100 GPUで圧縮することなく、2$times$から8$times$の入力フレームを完全に認識できる。
論文 参考訳（メタデータ） (2025-08-04T07:31:10Z) - VideoAds for Fast-Paced Video Understanding [33.05564519544605]
広告ビデオ上でMLLMのパフォーマンスをベンチマークするための最初のデータセットであるVideoAdsを紹介する。
VideoAdsは、複雑な時間構造を持つよく計算された広告ビデオで構成されており、テキストに手動で注釈付けされた多様な質問が伴っている。
オープンソースのMLLMであるQwen2.5-VL-72Bは、ビデオ広告で73.35%の精度を実現し、GPT-4oとGemini-1.5 Proを上回っている。
論文 参考訳（メタデータ） (2025-04-12T17:05:35Z) - InternVideo2.5: Empowering Video MLLMs with Long and Rich Context Modeling [56.130911402831906]
本稿では,LRC(Long and rich context)モデリングによるビデオ大言語モデル(LM)の性能向上を目的とする。
InternVideo2.5の新バージョンを開発し、ビデオの細かい詳細を知覚するオリジナルのMLLMの能力の向上に焦点をあてる。
実験により、このユニークな設計ML LRCは、主流理解ベンチマークにおけるビデオMLLMの結果を大幅に改善することを示した。
論文 参考訳（メタデータ） (2025-01-21T18:59:00Z) - Video-CCAM: Enhancing Video-Language Understanding with Causal Cross-Attention Masks for Short and Long Videos [12.36107767104469]
ビデオMLLMはビデオ言語理解に広く関心を集めている。
ビデオ、特に長いビデオは、画像よりも視覚的なトークンを含んでいるため、LLMが処理するのが困難である。
Video-CCAMは、機能アライメントとビジュアルインストラクションチューニングという、単純な2段階の方法でトレーニングされている。
MVBench と TGIF-QA では 1st/2nd/3rd、MSVD-QA では 2nd/3rd/4th、MSRVTT-QA では ActivityNet-QA である。
論文 参考訳（メタデータ） (2024-08-26T05:27:14Z) - Video Corpus Moment Retrieval with Contrastive Learning [56.249924768243375]
ビデオコーパスモーメント検索(VCMR)は、与えられたテキストクエリに意味的に対応する時間モーメントを取得することです。
VCMRのためのコントラシブラーニング(ReLoCLNet)を用いた検索・ローカリゼーションネットワークを提案する。
実験の結果、ReLoCLNetは効率のためにテキストとビデオを個別にエンコードし、その検索精度はクロスモーダル相互作用学習を採用するベースラインと匹敵する。
論文 参考訳（メタデータ） (2021-05-13T12:54:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。