論文の概要: CRAFT: Critic-Refined Adaptive Key-Frame Targeting for Multimodal Video Question Answering

• arxiv url: http://arxiv.org/abs/2605.19075v1
• Date: Mon, 18 May 2026 20:01:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.97014
• Title: CRAFT: Critic-Refined Adaptive Key-Frame Targeting for Multimodal Video Question Answering
• Title（参考訳）: CRAFT:マルチモーダルビデオ質問応答のための批判的修正適応型キーフレームターゲティング
• Authors: Mahesh Bhosale, Abdul Wasi, Vishvesh Trivedi, Pengyu Yan, Akhil Gorugantu, David Doermann,
• Abstract要約: 現実のニュースイベントに答えるためには、システムは異質なアーカイブ全体にわたってクエリ関連エビデンスを提示する必要がある。 我々は、動的選択とビデオごとのASRと多言語フォールバックを組み合わせたクエリ条件パイプラインであるCRAFTと、ハイブリッド批評家ループを紹介する。 MAGMaR 2026では、CRAFTが最高の総合平均(0.739)、参照リコール(0.810)、引用F1(0.635)を達成する。
• 参考スコア（独自算出の注目度）: 2.3450855956637913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grounded multi-video question answering over real-world news events requires systems to surface query-relevant evidence across heterogeneous video archives while attributing every claim to its supporting source. We introduce CRAFT (Critic-Refined Adaptive Key-Frame Targeting), a query-conditioned pipeline that combines dynamic keyframe selection, per-video ASR with multilingual fallback, and a hybrid critic loop to iteratively verify and repair claims before consolidation. The pipeline integrates UNLI temporal entailment, DeBERTa-v3 cross-claim screening, and a Llama-3.2-3B adjudicator, with a final citation-merging stage that emits each fact once with all supporting source identifiers. On MAGMaR 2026, CRAFT achieves the best overall average (0.739), reference recall (0.810), and citation F1 (0.635). We further evaluate on a MAGMaR-style conversion of WikiVideo with 52 non-overlapping event queries, where CRAFT also performs strongly (0.823 Avg), showing that its claim-centric evidence aggregation generalizes beyond MAGMaR. Ablations show that atomic claims, ASR, and the critic loop drive the main gains over the vanilla query-conditioned baseline. Code and implementation details are publicly available at https://github.com/bhosalems/CRAFT.
• Abstract（参考訳）: 現実のニュースイベントに答えるためには、システムは異種ビデオアーカイブ全体にわたってクエリ関連エビデンスを提示し、サポート対象のすべてのクレームを帰結させる必要がある。 CRAFT(Critic-Refined Adaptive Key-Frame Targeting)は、動的キーフレーム選択とビデオごとのASRとマルチリンガルフォールバックを組み合わせたクエリ条件付きパイプラインであり、統合前のクレームを反復的に検証し、修復するためのハイブリッド批評家ループである。 パイプラインはUNLIの時間的エンターメント、DeBERTa-v3のクロスファンクションスクリーニング、およびLlama-3.2-3Bのアジュディケータを統合し、全てのサポートされたソース識別子でそれぞれの事実を出力する最後の引用統合ステージを組み込む。 MAGMaR 2026では、CRAFTが最高平均(0.739)、参照リコール(0.810)、引用F1(0.635)を達成している。 さらに,52の重複しないイベントクエリによる WikiVideo の MAGMaR スタイルの変換について検討し,CRAFT も 0.823 Avg を強く実行し,その主張中心のエビデンス集約が MAGMaR を超えて一般化していることを示す。 アブレーションは、原子的クレーム、ASR、そして批判ループが、バニラクエリ条件のベースラインに対して大きな利益をもたらすことを示している。 コードと実装の詳細はhttps://github.com/bhosalems/CRAFT.comで公開されている。

関連論文リスト

• MARQUIS: A Three-Stage Pipeline for Video Retrieval-Augmented Generation [64.33427079838602]
  ビデオからの検索強化生成は、大規模なコーパスから関連するオーディオ視覚的証拠を検索し、一貫性のある属性付きテキストに合成するシステムを必要とする。 MARQUIS:クエリ拡張、融合、再ランク付けを通じて、これらの制限に対処する3段階のパイプライン。 記事生成において、ITER-QA-BASEはCAGベースライン平均スコアを3.09から3.83に改善し、MARQUIS-RLMは3.30の人間スコアと非QAシステムの中で最も強い引用リコールを達成する。
  論文  参考訳（メタデータ） (2026-05-17T20:19:04Z)
• TRACE: Evidence Grounding-Guided Multi-Video Event Understanding and Claim Generation [2.3450855956637913]
  マルチビデオイベント推論のためのエビデンス基盤フレームワークであるTRACEを紹介する。 提案手法はまず,OCRとオブジェクト検出を用いて,ビデオ毎に構造化されたテキスト検索可能なタイムラインを構築する。 テキストのみのLLMはクエリ対応のエビデンスローカライゼーションを実行し、ダウンストリームの視覚的推論に先立って関連するモーメントを選択する。
  論文  参考訳（メタデータ） (2026-05-16T01:37:10Z)
• MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
  AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。 AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。 提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-08T06:34:29Z)
• RAVEN: Query-Guided Representation Alignment for Question Answering over Audio, Video, Embedded Sensors, and Natural Language [1.5599296461516985]
  RAVENは、クエリ条件のクロスモーダルゲーティングモジュールであるQuARTをコアとする統一QAアーキテクチャである。 RAVENは、単調な事前トレーニング、クエリ整合融合、不一致指向の微調整を含む3段階のパイプラインを通じてトレーニングされる。 実験の結果、RAVENは最先端のマルチモーダル言語モデルと比較して14.5%と8.0%の精度で向上した。
  論文  参考訳（メタデータ） (2025-05-21T14:33:36Z)
• Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
  大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。 実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。 RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T16:46:11Z)
• GMMFormer: Gaussian-Mixture-Model Based Transformer for Efficient Partially Relevant Video Retrieval [59.47258928867802]
  テキストクエリーが与えられた場合、部分関連ビデオ検索(PRVR)はデータベースに関連する瞬間を含むビデオを探し出そうとする。 本稿では,GMMFormerを提案する。GMMFormerはガウス・ミクチャーモデルに基づくトランスフォーマーで,クリップ表現を暗黙的にモデル化する。 3つの大規模ビデオデータセットの実験は、GMMFormerの優位性と効率を実証している。
  論文  参考訳（メタデータ） (2023-10-08T15:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。