論文の概要: ViSIL: Unified Evaluation of Information Loss in Multimodal Video Captioning
- arxiv url: http://arxiv.org/abs/2601.09851v1
- Date: Wed, 14 Jan 2026 20:14:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-16 19:43:18.887155
- Title: ViSIL: Unified Evaluation of Information Loss in Multimodal Video Captioning
- Title（参考訳）: ViSIL:マルチモーダルビデオキャプションにおける情報損失の統一評価
- Authors: Po-han Li, Shenghui Chen, Ufuk Topcu, Sandeep Chinchali,
- Abstract要約: Video Summary Information Loss (ViSIL) スコアは、視覚言語モデル(VLM)推論モデルを用いて、要約によって取得されていない映像情報を定量化する情報理論フレームワークである。
以上の結果から,VSILスコアは映像質問応答タスクにおける人間とVLMのパフォーマンスと統計的に有意な相関を示した。
- 参考スコア（独自算出の注目度）: 23.144642468756032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal video captioning condenses dense footage into a structured format of keyframes and natural language. By creating a cohesive multimodal summary, this approach anchors generative AI in rich semantic evidence and serves as a lightweight proxy for high-efficiency retrieval. However, traditional metrics like BLEU or ROUGE fail to quantify information coverage across disparate modalities, such as comparing a paragraph of text to a sequence of keyframes. To address this, we propose the Video Summary Information Loss (ViSIL) score, an information-theoretic framework that quantifies the video information not captured by a summary via vision-language model (VLM) inference. By measuring the information loss, ViSIL is a unified metric that enables direct comparison across multimodal summary formats despite their structural discrepancies. Our results demonstrate that ViSIL scores show a statistically significant correlation with both human and VLM performance on Video Question Answering (VQA) tasks. ViSIL also enables summary selection to optimize the trade-off between information loss and processing speed, establishing a Pareto-optimal frontier that outperforms text summaries by $7\%$ in VQA accuracy without increasing processing load.
- Abstract（参考訳）: マルチモーダルビデオキャプションは、密集した映像をキーフレームと自然言語の構造化形式に凝縮する。
結合的なマルチモーダル要約を作成することで、このアプローチは生成AIをリッチなセマンティックエビデンスに固定し、高効率検索のための軽量なプロキシとして機能する。
しかし、BLEUやROUGEのような伝統的なメトリクスは、テキストの段落をキーフレームのシーケンスと比較するなど、異なるモダリティにわたる情報カバレッジの定量化に失敗した。
そこで本稿では,視覚言語モデル(VLM)推論による要約で捉えない映像情報を定量化する情報理論フレームワークである,ビデオ要約情報損失(ViSIL)スコアを提案する。
情報損失を測定することで、ViSILは構造的な相違にもかかわらず、マルチモーダル要約フォーマットを直接比較できる統一された計量である。
以上の結果から,VQAタスクにおけるVSILスコアは人間とVLMの両方のパフォーマンスと統計的に有意な相関を示した。
ViSILはまた、情報損失と処理速度のトレードオフを最適化し、処理負荷を増大させることなく、VQA精度でテキスト要約を7\%上回るパレート最適化フロンティアを確立することができる。
関連論文リスト
- Video Summarization with Large Language Models [41.51242348081083]
本稿では,近年のLarge Language Models (LLM) の機能を活用したビデオ要約フレームワークを提案する。
LLM-based Video Summarization (LLMVS) と呼ばれる我々の手法は、ビデオフレームをMulti-Modal Large Language Model (MLLM) を用いて一連のキャプションに変換する。
実験の結果,提案手法は標準ベンチマークにおける既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2025-04-15T13:56:14Z) - BOLT: Boost Large Vision-Language Model Without Training for Long-form Video Understanding [51.49345400300556]
大規模ビデオ言語モデル (VLM) は様々なビデオ理解タスクにおいて有望な進歩を示した。
均一なフレームサンプリングのような伝統的なアプローチは、必然的に無関係なコンテンツにリソースを割り当てる。
本稿では,フレーム選択戦略の総合的研究を通じて,付加的なトレーニングを伴わずに大規模VLMをブーストする方法であるBOLTを紹介する。
論文 参考訳（メタデータ） (2025-03-27T13:18:40Z) - Bridging Vision and Language: Modeling Causality and Temporality in Video Narratives [0.0]
本稿では,Causal-Temporal Reasoning Moduleを最先端のLVLMに統合する拡張フレームワークを提案する。
CTRMはCausal Dynamics(CDE)とTemporal Learner(TRL)の2つの重要なコンポーネントから構成される。
大規模ビデオテキストデータセットの事前学習を併用して,モデル最適化のための多段階学習戦略を設計する。
論文 参考訳（メタデータ） (2024-12-14T07:28:38Z) - Bridging Information Asymmetry in Text-video Retrieval: A Data-centric Approach [56.610806615527885]
テキストビデオ検索(TVR)における重要な課題は、ビデオとテキスト間の情報非対称性である。
本稿では,このギャップを埋めるために,テキスト表現を豊かにすることで,映像コンテンツの豊かさに合わせたデータ中心のフレームワークを提案する。
本稿では,最も関連性が高く多様なクエリを識別し,計算コストを低減し,精度を向上するクエリ選択機構を提案する。
論文 参考訳（メタデータ） (2024-08-14T01:24:09Z) - UBiSS: A Unified Framework for Bimodal Semantic Summarization of Videos [52.161513027831646]
Bimodal Semantic Summarization of Videos (BiSSV) という,より包括的なビデオ要約タスクに着目する。
BiSSVタスクのための統一フレームワーク UBiSS を提案し、ビデオ内のサリエンシ情報をモデル化し、TM-summary と VM-summary を同時に生成する。
実験により、我々の統合されたフレームワークは、多段階の要約パイプラインよりも優れたパフォーマンスを実現することが示された。
論文 参考訳（メタデータ） (2024-06-24T03:55:25Z) - VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。
データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。
機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
論文 参考訳（メタデータ） (2023-12-04T19:48:02Z) - Video Understanding as Machine Translation [53.59298393079866]
我々は、単一の統合フレームワークを用いて、様々なダウンストリームビデオ理解タスクに取り組む。
映像分類(EPIC-Kitchens)、質問応答(TVQA)、キャプション(TVC, YouCook2, MSR-VTT)など、いくつかのダウンストリームタスクにおいて、現状よりもパフォーマンスの向上が報告されている。
論文 参考訳（メタデータ） (2020-06-12T14:07:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。