論文の概要: A Benchmarking Methodology to Assess Open-Source Video Large Language Models in Automatic Captioning of News Videos
- arxiv url: http://arxiv.org/abs/2603.27662v1
- Date: Sun, 29 Mar 2026 12:28:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:45.059211
- Title: A Benchmarking Methodology to Assess Open-Source Video Large Language Models in Automatic Captioning of News Videos
- Title（参考訳）: ニュースビデオの自動キャプションにおけるオープンソースのビデオ大言語モデル評価のためのベンチマーク手法
- Authors: David Miranda Paredes, Jose M. Saavedra, Marcelo Pizarro,
- Abstract要約: 本研究は,8つの最先端オープンソースVidLLMsを自動ニュースキャプションとして比較検討した。
我々は,語彙的指標(METEOR,ROUGE-L),意味的指標(BERTScore,CLIPScore,テキスト類似性,平均相互ランク)と,本研究で提案した2つの新しい忠実度指標を用いる。
分析の結果, ニュースビデオキャプションでは, 表面形状依存性, 静的フレームの感度, 機能単語のインフレーションなどにより, 識別能力に限界があることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: News videos are among the most prevalent content types produced by television stations and online streaming platforms, yet generating textual descriptions to facilitate indexing and retrieval largely remains a manual process. Video Large Language Models (VidLLMs) offer significant potential to automate this task, but a comprehensive evaluation in the news domain is still lacking. This work presents a comparative study of eight state-of-the-art open-source VidLLMs for automatic news video captioning, evaluated on two complementary benchmark datasets: a Chilean TV news corpus (approximately 1,345 clips) and a BBC News corpus (9,838 clips). We employ lexical metrics (METEOR, ROUGE-L), semantic metrics (BERTScore, CLIPScore, Text Similarity, Mean Reciprocal Rank), and two novel fidelity metrics proposed in this work: the Thematic Fidelity Score (TFS) and Entity Fidelity Score (EFS). Our analysis reveals that standard metrics exhibit limited discriminative power for news video captioning due to surface-form dependence, static-frame insensitivity, and function-word inflation. TFS and EFS address these gaps by directly assessing thematic structure preservation and named-entity coverage in the generated captions. Results show that Gemma~3 achieves the highest overall performance across both datasets and most evaluation dimensions, with Qwen-VL as a consistent runner-up.
- Abstract（参考訳）: ニュースビデオは、テレビ局やオンラインストリーミングプラットフォームが生み出す最も一般的なコンテンツタイプの一つだが、索引付けや検索を容易にするためのテキスト記述を生成することは、ほとんど手作業のままである。
ビデオ大言語モデル(VidLLMs)は、このタスクを自動化する大きな可能性を秘めているが、ニュース領域における包括的な評価はまだ不十分である。
この研究は、チリのテレビニュースコーパス(約1,345クリップ)とBBCニュースコーパス(9,838クリップ)という2つの補完的なベンチマークデータセットで評価された、自動ニュースビデオキャプションのための8つの最先端オープンソースVidLLMの比較研究を示す。
我々は、語彙メトリクス(METEOR, ROUGE-L)、意味メトリクス(BERTScore, CLIPScore, Text similarity, Mean Reciprocal Rank)、およびこの研究で提案された2つの新しい忠実度メトリクス、Thematic Fidelity Score(TFS)とEntity Fidelity Score(EFS)を採用しています。
分析の結果, ニュースビデオキャプションでは, 表面形状依存性, 静的フレームの感度, 機能単語のインフレーションなどにより, 識別能力に限界があることがわかった。
TFS と EFS は、生成したキャプションのテーマ構造保存と命名内容のカバレッジを直接評価することで、これらのギャップに対処する。
その結果、Gemma~3はデータセットとほとんどの評価次元で最高の総合的なパフォーマンスを達成し、Qwen-VLは一貫したランナアップであることがわかった。
関連論文リスト
- From Content to Audience: A Multimodal Annotation Framework for Broadcast Television Analytics [1.6639892342953113]
マルチモーダル大言語モデル(MLLM)は、強力な汎用ビデオ理解能力を示している。
本稿では,イタリアにおけるテレビ放送におけるマルチモーダル・アノテーション・パイプラインの体系的評価について述べる。
論文 参考訳（メタデータ） (2026-03-24T13:46:51Z) - Diffusion-Pretrained Dense and Contextual Embeddings [3.1271035100823643]
plx-embedは多言語埋め込みモデルのファミリーであり、Webスケール検索のために拡散予測言語モデルバックボーンに多段階のコントラスト学習を利用する。
標準検索用 pplx-embed-v1 とコンテキスト埋め込み用 pplx-embed-context-v1 の2つのモデルタイプをリリースする。
論文 参考訳（メタデータ） (2026-02-11T18:59:08Z) - Prompts to Summaries: Zero-Shot Language-Guided Video Summarization [12.200609701777907]
Prompts-to-Summaries:最初のゼロショット・テキストクエリ可能なビデオ要約器を紹介する。
市販のビデオ言語モデル(VidLMs)のキャプションを、大きな言語モデル(LLMs)によるユーザガイドのスキムに変換する。
我々のパイプラインは、メモリ効率の高いバッチスタイルのVidLMプロンプトスキームにより、リッチなシーンレベルの記述を生成する。
SumMe と TVSum では、我々のデータフリーアプローチは、以前のデータハングリーな教師なし手法を全て上回っている。
論文 参考訳（メタデータ） (2025-06-12T15:23:11Z) - VidText: Towards Comprehensive Evaluation for Video Text Understanding [56.121054697977115]
VidTextは、ビデオテキスト理解の総合的かつ詳細な評価のためのベンチマークである。
さまざまな現実世界のシナリオをカバーし、多言語コンテンツをサポートする。
ビデオレベル、クリップレベル、インスタンスレベルのタスクを備えた階層的評価フレームワークを導入している。
論文 参考訳（メタデータ） (2025-05-28T19:39:35Z) - The Devil is in the Distributions: Explicit Modeling of Scene Content is Key in Zero-Shot Video Captioning [89.64905703368255]
ゼロショットビデオキャプションのためのプログレッシブな多粒性テキストプロンプト戦略を提案する。
提案手法は,名詞句,名詞句のシーングラフ,全文を含む3つの異なる記憶バンクを構築する。
論文 参考訳（メタデータ） (2025-03-31T03:00:19Z) - CAPability: A Comprehensive Visual Caption Benchmark for Evaluating Both Correctness and Thoroughness [30.44039177018447]
CAPabilityは、6つの重要なビューにまたがる12次元にわたる視覚的キャプションを評価するための総合的なベンチマークである。
我々は、生成したキャプションを評価するために、視覚要素アノテーションで1万1千近い人注画像や動画をキュレートした。
論文 参考訳（メタデータ） (2025-02-19T07:55:51Z) - Bridging Information Asymmetry in Text-video Retrieval: A Data-centric Approach [56.610806615527885]
テキストビデオ検索(TVR)における重要な課題は、ビデオとテキスト間の情報非対称性である。
本稿では,このギャップを埋めるために,テキスト表現を豊かにすることで,映像コンテンツの豊かさに合わせたデータ中心のフレームワークを提案する。
本稿では,最も関連性が高く多様なクエリを識別し,計算コストを低減し,精度を向上するクエリ選択機構を提案する。
論文 参考訳（メタデータ） (2024-08-14T01:24:09Z) - Towards A Better Metric for Text-to-Video Generation [102.16250512265995]
生成モデルは高品質のテキスト、画像、ビデオの合成において顕著な能力を示した。
新たな評価パイプラインであるText-to-Video Score(T2VScore)を導入する。
本尺度は,(1)テキスト記述における映像の忠実度を精査するテキスト・ビデオ・アライメント,(2)ビデオ品質,(2)ビデオ全体の製作口径を専門家の混合で評価するビデオ品質の2つの重要な基準を統合した。
論文 参考訳（メタデータ） (2024-01-15T15:42:39Z) - UATVR: Uncertainty-Adaptive Text-Video Retrieval [90.8952122146241]
一般的なプラクティスは、テキストとビデオのペアを同じ埋め込みスペースに転送し、特定のエンティティとのクロスモーダルなインタラクションを構築することである。
UATVRと呼ばれる不確実性言語によるテキスト・ビデオ検索手法を提案し、各ルックアップを分布マッチング手順としてモデル化する。
論文 参考訳（メタデータ） (2023-01-16T08:43:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。