論文の概要: ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA
- arxiv url: http://arxiv.org/abs/2607.01737v1
- Date: Thu, 02 Jul 2026 05:46:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.688049
- Title: ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA
- Title（参考訳）: ReQuest: 長期ビデオQAのための再考に基づく質問認識フレームの選択
- Abstract要約: ReQuestは不確実性駆動の質問適応選択パイプラインであり、質問意図と関連するビデオコンテンツとを一致させる。
Video-MME、MLVU、LongBenchの実験では、競合計算コストと一貫した精度の向上が示されている。
- 参考スコア（独自算出の注目度）: 17.699690126341412
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent multimodal large language models (MLLMs) have substantially advanced video understanding, yet long-form video QA remains challenging under fixed input token budgets, where uniform sampling can be inefficient for evidence localization. We propose ReQuest , an uncertainty-driven, question-adaptive keyframe selection pipeline that aligns question intent with relevant video content through selective computation. ReQuest integrates (i) a lightweight question-aware selector distilled from MLLM-generated supervision, (ii) Re-thinking Routing that triggers additional inference only when the model is uncertain with a length-adaptive criterion, and (iii) uncertainty-guided adaptive non-maximum suppression that selects temporally diverse frames while adjusting spacing based on question difficulty. As a plug-andplay method, ReQuest improves long-video QA without modifying or fine-tuning the underlying MLLM. Experiments on Video-MME, MLVU, and LongVideoBench demonstrate consistent accuracy gains with competitive computational cost, with particularly strong improvements in medium and long video regimes.
- Abstract（参考訳）: 近年のMLLM(Multimodal large language model)はビデオの理解が著しく進んでいるが、固定された入力トークンの予算の下では、一様サンプリングがエビデンスローカライゼーションに不効率であるため、長めのビデオQAは依然として困難である。
本研究では,不確実性を考慮した質問適応型キーフレーム選択パイプラインであるReQuestを提案する。
ReQuestが統合
一 MLLMによる監督から抽出した軽量な質問認識セレクタ
2 モデルが長さ適応的基準で不確実である場合に限って追加推論を誘発する経路を再考し、
3)不確実性誘導型適応的非最大抑制は,時間的に多様なフレームを選択しながら,問題難易度に基づいて間隔を調整する。
ReQuestは、プラグイン・アンド・プレイ方式として、MLLMの変更や微調整をすることなく、長時間ビデオのQAを改善する。
Video-MME、MLVU、LongVideoBenchの実験では、特に中・長大なビデオレシエーションにおいて、競争力のある計算コストと一貫した精度の向上が示されている。
関連論文リスト
- Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。
2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。
32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
論文 参考訳（メタデータ） (2026-07-17T07:04:31Z) - QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding [31.789999490173255]
ビデオ理解の重要な要素としてマルチモーダル検索が登場している。
既存のマルチモーダル検索手法は, 偏りのある関係推定, 限られた多様性, 時間的崩壊に悩まされている。
ビデオ検索における関連性,多様性,時間的モデリングに対処する統合フレームワークQSVideoを提案する。
論文 参考訳（メタデータ） (2026-07-06T00:19:42Z) - Learning Question-Aware Keyframe Selection with Synthetic Supervision for Video Question Answering [11.557860792712171]
キーフレームの選択は効率性とよりシャープな推論を提供するが、画像とテキストの類似性に依存する場合、監督や冗長なフレーム選択に悩まされる。
情報的監視を提供するLMMから派生した擬似ラベルと,多種多様な補完的証拠を促進するカバーレギュラー化の2つのコンポーネントからなる質問認識選択フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-16T08:07:14Z) - Optimizing Multimodal LLMs for Egocentric Video Understanding: A Solution for the HD-EPIC VQA Challenge [52.31833115696867]
本稿では,クエリ/選択前処理,ドメイン固有のQwen2.5-VL微調整,マルチステップ推論の促進を目的とした新しいT-CoTを提案する。
このシステムはHD-EPIC VQAで41.6%の精度を実現し、ビデオ理解の要求に対して全体的パイプライン最適化の必要性を強調した。
論文 参考訳（メタデータ） (2026-01-15T09:43:49Z) - Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding [33.58579390725519]
Video-MTRは、反復的なキーセグメントの選択と質問理解を可能にするために設計された強化されたマルチターン推論フレームワークである。
単一のターンで予測を生成する従来のビデオ推論パイプラインとは異なり、Video-MTRは複数のターンで推論を実行する。
中間推論プロセスを保証するため,新たな二段階報酬システムを導入する。
論文 参考訳（メタデータ） (2025-08-28T06:55:08Z) - Q-Frame: Query-aware Frame Selection and Multi-Resolution Adaptation for Video-LLMs [13.306662159600677]
適応型フレーム選択とマルチテンポラリスケーリングのための新しいアプローチであるビデオQFrameを紹介する。
Q-Frameは、CLIPのようなテキスト画像マッチングネットワークによって生成されたトレーニング不要のプラグイン・アンド・プレイ戦略を採用している。
ベンチマークデータセットの広範な実験を通じて,Q-Frameの有効性を実証する。
論文 参考訳（メタデータ） (2025-06-27T11:30:51Z) - Moment Sampling in Video LLMs for Long-Form Video QA [22.638644170177013]
モーメントサンプリング(moment sample)とは、モデルが最も関係のあるフレームを質問の文脈に応じて選択できるモデルに依存しないアプローチである。
与えられた質問に最も関係のあるフレームに焦点をあてることで、ビデオLLMにおける長大なビデオQA性能を向上させることができる。
論文 参考訳（メタデータ） (2025-06-18T03:23:56Z) - Temporal Preference Optimization for Long-Form Video Understanding [63.196246578583136]
TPO(Temporal Preference Optimization)は、ビデオLMMの時間的グラウンド機能を高めるために設計された、新しいポストトレーニングフレームワークである。
TPOは、手動の注釈付きデータへの依存を減らしながら、時間的理解を著しく向上させる。
LLaVA-Video-TPOは、Video-MMEベンチマークでトップ7Bモデルとしての地位を確立している。
論文 参考訳（メタデータ） (2025-01-23T18:58:03Z) - Perceive, Query & Reason: Enhancing Video QA with Question-Guided Temporal Queries [50.47265863322891]
Video Question Answering (ビデオQA)は、ビデオ全体を理解するためにモデルを必要とする、難しいビデオ理解タスクである。
近年のMLLM(Multimodal Large Language Models)の進歩は,ビデオQAに特有なコモンセンス推論機能を活用して変化している。
本稿では,フレーム単位の視覚知覚とLCMの推論能力の間に疑問を導いた時間的ブリッジを生成する,新しい時間的モデリング手法であるT-Formerを提案する。
論文 参考訳（メタデータ） (2024-12-26T17:53:14Z) - LMM-VQA: Advancing Video Quality Assessment with Large Multimodal Models [53.64461404882853]
ビデオ品質評価(VQA)アルゴリズムは、ストリーミングビデオの品質を監視し最適化するために必要である。
本稿では,LMM-VQA(Large Multi-Modal Video Quality Assessment)モデルを提案する。
論文 参考訳（メタデータ） (2024-08-26T04:29:52Z) - LvBench: A Benchmark for Long-form Video Understanding with Versatile Multi-modal Question Answering [49.68215536040896]
LvBenchは多目的なマルチモーダル質問応答のための長文ビデオ理解ベンチマークである。
ビデオは70秒から4時間で、シングルシーン、マルチシーン、フルシーンのコンテキストをカバーしています。
本データセットは、慎重に選択された100本の映画から得られた20,061組の質問応答対からなる。
論文 参考訳（メタデータ） (2023-12-08T03:33:38Z) - MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form
Video Question Answering [73.61182342844639]
我々は,MIST(Multi-modal Iterative Spatial-temporal Transformer)と呼ばれる新しいモデルを導入する。
MISTは、従来の密集時空間自己アテンションをカスケードセグメントと領域選択モジュールに分解する。
異なる粒度の視覚概念は、アテンションモジュールを通して効率的に処理される。
論文 参考訳（メタデータ） (2022-12-19T15:05:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。