論文の概要: MLLM Frame Subset Ensembling for Audio-Visual Video QA and MLLM-based Reranking for Ad-hoc Video Search in TRECVID 2025

• arxiv url: http://arxiv.org/abs/2610.23214v1
• Date: Fri, 16 Oct 2026 09:48:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.858434
• Title: MLLM Frame Subset Ensembling for Audio-Visual Video QA and MLLM-based Reranking for Ad-hoc Video Search in TRECVID 2025
• Title（参考訳）: TRECVID 2025における音声映像QAとMLLMに基づくアドホックビデオ検索のためのMLLMフレームサブセット
• Abstract要約: 本稿では,TRECVID 2025のAVS(Ad-hoc Video Search)とVQA(Video Question Answering)について概説する。
• 参考スコア（独自算出の注目度）: 29.690511617545415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents the overview of the runs related to the Ad-hoc Video Search (AVS) and Video Question Answering (VQA) tracks of TRECVID 2025 on behalf of the CERTH-ITI team. For the AVS track, we introduce a two-stage framework built on foundation models. In the first stage, multiple vision-language models (VLMs) encode both the input query, augmented through LLM-generated rephrasings, and the candidate video shots, producing weighted similarity scores for initial retrieval. In the second stage, we utilize a Multimodal-LLM(MLLM)-based reranking module that evaluates the semantic alignment between each shot among the top-N highest-ranked ones and the original query, generating updated relevance scores for reordering these shots. This MLLM-driven reranking significantly improves contextual matching and produces more accurate final rankings without requiring any model training. Regarding the VQA track, we fine-tune an audio-visual MLLM model on the provided TRECVID training dataset and we implement an inference-time scaling technique to enhance the multimodal understanding capabilities of the MLLM. For the open-ended Answer Generation (AG) task, we aggregate multiple model responses per question via a majority vote. The responses are generated with greedy sampling from different random frame subsets of the video and they are ranked based on the number of votes. For the Multiple-Choice (MC) task, instead of voting, we use mean pooling on the logits assigned by the fine-tuned model to each candidate response. Through the combination of fine-tuning and frame subset ensembling we achieve the highest score across 3 metrics in the VQA AG task and the second highest in the VQA MC task.
• Abstract（参考訳）: 本稿では,CERTH-ITIチームの代表として,TRECVID 2025のAVS(Ad-hoc Video Search)とVQA(Video Question Answering)のトラックについて概説する。 AVSトラックでは、基礎モデルに基づいて構築された2段階のフレームワークを紹介します。 第1段階では、複数の視覚言語モデル (VLM) が入力クエリをエンコードし、LLM生成したリフレージングと候補映像の両方を符号化し、初期検索のための重み付き類似度スコアを生成する。 第2段階では、トップNの最高ランクのショットと元のクエリ間のセマンティックアライメントを評価するマルチモーダルLLM(MLLM)ベースのリグレードモジュールを使用し、これらのショットを並べ替えるための関連スコアを更新する。 このMLLM駆動のランキングは、文脈マッチングを大幅に改善し、モデルトレーニングを必要とせずに、より正確な最終ランキングを生成する。 VQAトラックについて、提供されたTRECVIDトレーニングデータセットに音声視覚MLLMモデルを微調整し、MLLMのマルチモーダル理解能力を高めるために、推論時間スケーリング手法を実装した。 オープンエンドなAnswer Generation (AG)タスクでは、多数決によって質問毎に複数のモデル応答を集約する。 応答は、ビデオの異なるランダムなフレームサブセットからグリージーサンプリングによって生成され、投票数に基づいてランク付けされる。 マルチパス(MC)タスクでは、投票の代わりに、各候補の応答に微調整されたモデルによって割り当てられたロジットを平均プールする。 ファインチューニングとフレームサブセットアンサンブルを組み合わせることで、VQA AGタスクで3つのメトリクスで最高スコアを獲得し、VQA MCタスクで2番目に高いスコアを得る。

関連論文リスト

• MVEB: Massive Video Embedding Benchmark [14.964923439407274]
  Massive Video Embedding Benchmark (MVEB) は、分類、ゼロショット分類、クラスタリング、ペア分類、検索、ビデオ中心の質問応答にまたがるビデオ埋め込みのベンチマークである。 MVEBは184タスクプールであるMVEB+から派生しており、評価コストを低減しつつタスクの多様性を維持するように設計されている。
  論文  参考訳（メタデータ） (2026-06-12T21:06:12Z)
• MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
  AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。 AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。 提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T06:34:29Z)
• News Reporter: A Multi-lingual LLM Framework for Broadcast T.V News [3.4502293745974906]
  大規模言語モデル(LLM)は、さまざまなクエリに対して一貫性のある回答を提供する能力のため、多くの会話チャットボットにとって、急速に重要なツールになっている。 我々は、米国中の様々なニュースチャンネルからニュース録音から抽出された大量のQAペアを収集し、共有する。 我々は,回答の文脈化を改善するためのRAG手法を提案し,それを検証可能なニュース記録に向ける。
  論文  参考訳（メタデータ） (2024-10-10T01:21:48Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)
• DeepQAMVS: Query-Aware Hierarchical Pointer Networks for Multi-Video Summarization [127.16984421969529]
  DeepQAMVSと呼ばれるマルチビデオ要約のための新しいQuery-Aware階層型ポインタネットワークを紹介します。 DeepQAMVSは強化学習で訓練され、代表性、多様性、クエリ適応性、時間的コヒーレンスを捉えた報酬を取り入れている。 MVS1Kデータセットで最新の結果を達成し、入力されたビデオフレームの数と線形に推論時間をスケーリングします。
  論文  参考訳（メタデータ） (2021-05-13T17:33:26Z)
• Dense-Caption Matching and Frame-Selection Gating for Temporal Localization in VideoQA [96.10612095576333]
  本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。 また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。 当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2020-05-13T16:35:27Z)
• HERO: Hierarchical Encoder for Video+Language Omni-representation Pre-training [75.55823420847759]
  本稿では,大規模ビデオ+言語オムニ表現学習のための新しいフレームワークHEROを提案する。 HEROは階層構造でマルチモーダル入力を符号化し、ビデオフレームのローカルコンテキストをクロスモーダル変換器でキャプチャする。 HEROはHowTo100Mと大規模TVデータセットを共同でトレーニングし、マルチキャラクタインタラクションによる複雑な社会的ダイナミクスの理解を深める。
  論文  参考訳（メタデータ） (2020-05-01T03:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。