論文の概要: Query-aligned video frame selection for long video understanding

• arxiv url: http://arxiv.org/abs/2609.31668v1
• Date: Tue, 15 Sep 2026 15:08:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 14:04:49.32657
• Title: Query-aligned video frame selection for long video understanding
• Title（参考訳）: 長いビデオ理解のための問合せ対応ビデオフレーム選択
• Abstract要約: 本稿では,複数質問に特化して設計されたフレーム選択手法を提案する。 質問に応答するフレームを選択するために,回答選択を推論時キューとして使用する。 実験結果から,解答対応フレーム選択は,一様サンプリングや既存の学習不要フレーム選択法よりも優れていた。
• 参考スコア（独自算出の注目度）: 2.4227338703712245
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multimodal large language models (MLLMs) process multimodal inputs by converting text, images, and videos into token sequences that are subsequently processed by a backbone language model. While MLLMs have achieved excellent performance in understanding the content of individual images, video understanding remains significantly more difficult because videos contain large number of video frames. MLLMs typically process only a subset of these frames, usually ranging from 8 to 64. MLLMs usually sample frames uniformly, regardless of their relevance to the question being answered. To address this limitation, several training-free, model-agnostic methods for selecting question-relevant frames have recently been proposed. In this work, we introduce a frame-selection method designed specifically for multiple-choice questions. We extend the query text by appending semantic cues derived from the answer choices and employ a direct query-frame alignment scoring mechanism. To the best of our knowledge, our method is the first to directly utilize answer choices as inference-time cues for selecting frames relevant to answering a question. The method first constructs a compact candidate pool by subsampling video frames at a fixed rate. The frames are then scored according to their maximum cosine similarity across all question-answer pairs to identify the most relevant frames for a given query. This approach preserves a fixed token budget while improving the relevance of the visual evidence provided to the downstream MLLM. We evaluate the effectiveness of our frame-selection method on the MLVU, Video-MME, and LongVideoBench benchmarks using three MLLMs: LLaVA-Mini, Qwen2-VL, and LLaVA-Video. Experimental results demonstrate that answer-aware frame selection generally outperforms uniform sampling and existing training-free frame-selection methods under the same frame budget.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、テキスト、画像、動画をトークンシーケンスに変換し、その後、バックボーン言語モデルによって処理することで、マルチモーダル入力を処理する。 MLLMは個々の画像の内容を理解する上で優れた性能を発揮してきたが、ビデオには多数のビデオフレームが含まれているため、ビデオ理解は依然として著しく困難である。 MLLMは通常、これらのフレームのサブセットのみを処理するが、通常は8から64までである。 MLLMは通常、答えられる質問との関係にかかわらず、フレームを均一にサンプリングする。 この制限に対処するため、最近、疑問関連フレームを選択するためのトレーニング不要なモデルに依存しないいくつかの手法が提案されている。 本研究では,複数質問に特化して設計されたフレーム選択手法を提案する。 問合せテキストは、解答選択から導かれる意味的手がかりを付加することにより拡張し、直接問合せフレームアライメントスコアリング機構を用いる。 我々の知識を最大限に活用するために,本手法は,質問に応答するフレームを選択するための推論時手がかりとして,解答選択を直接活用する最初の方法である。 この方法は、ビデオフレームを固定レートでサブサンプリングすることで、まずコンパクトな候補プールを構築する。 フレームは、与えられたクエリの最も関連性の高いフレームを特定するために、すべての問合せ対に対して、その最大コサイン類似度に従ってスコアされる。 このアプローチは、下流MLLMに提供される視覚的証拠の関連性を改善しつつ、固定トークン予算を維持する。 LLaVA-Mini, Qwen2-VL, LLaVA-Videoの3つのMLLMを用いて, MLVU, Video-MME, LongVideoBenchベンチマークにおけるフレーム選択の有効性を評価する。 実験結果から, 応答認識フレーム選択は, 同じフレーム予算下で一様サンプリングや既存のトレーニング不要フレーム選択法よりも優れていた。

関連論文リスト

• Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
  MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。 2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。 32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
  論文  参考訳（メタデータ） (2026-07-17T07:04:31Z)
• Improving Video Question Answering through query-based frame selection [15.416301612152004]
  Video Question Answering (VideoQA) モデルは、視聴覚コンテンツに対する理解とインタラクションを強化する。 重い計算要求のため、ビデオQAのほとんどの大きなビジュアル言語モデル(VLM)は、動画を一様にサンプリングすることで固定数のフレームに依存している。 本稿では,サブモジュール相互情報(SMI)関数に基づいて,質問に関連のある新しい問合せベースのフレーム選択を提案する。
  論文  参考訳（メタデータ） (2026-01-12T12:10:20Z)
• Threading Keyframe with Narratives: MLLMs as Strong Long Video Comprehenders [62.58375366359421]
  長いビデオ理解のためのマルチモーダル大言語モデル(MLLM)は依然として難しい問題である。 伝統的な一様サンプリングは、無関係な内容の選択につながる。 数千フレームの訓練後のMLLMは、かなりの計算負担を課す。 本研究では,物語付きスレッディング(Nar-KFC)を提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:04:28Z)
• Adaptive Keyframe Sampling for Long Video Understanding [75.7837692594814]
  本稿では、適応鍵フレームサンプリング(AKS)という、単純だが効果的なアルゴリズムを提案する。 これはAdaptive Keyframe Sampling (AKS)と呼ばれるプラグインとプレイモジュールを挿入し、ビデオトークンの固定数で有用な情報を最大化することを目的としている。 2つの長いビデオ理解ベンチマークの実験は、AKSが情報的出会いを選択する際にビデオQA精度を改善することを検証する。
  論文  参考訳（メタデータ） (2025-02-28T17:46:29Z)
• M-LLM Based Video Frame Selection for Efficient Video Understanding [60.93714759178143]
  本稿では,ユーザのクエリに関連性の高いフレームを適応的に選択する,軽量なM-LLMベースのフレーム選択手法を提案する。 選択されたフレームは、視覚的推論と質問応答のための凍った下流ビデオM-LLMによって消化される。
  論文  参考訳（メタデータ） (2025-02-27T01:44:13Z)
• VidCtx: Context-aware Video Question Answering with Image Models [15.1350316858766]
  VidCtxは、入力フレームからの視覚情報と他のフレームのテキスト記述の両方を統合する、新しいトレーニング不要なビデオQAフレームワークである。 実験により、VidCtxはオープンモデルに依存するアプローチ間の競争性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-12-23T09:26:38Z)
• TraveLER: A Modular Multi-LMM Agent Framework for Video Question-Answering [48.55956886819481]
  異なる役割を持つ複数のエージェントに基づくモジュール型マルチLMMエージェントフレームワークを提案する。 具体的には、ビデオを通して"Traverse"計画を作成する方法であるTraveLERを提案する。 提案したTraveLERアプローチは、特定のデータセットを微調整することなく、複数のVideoQAベンチマークのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-04-01T20:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。