論文の概要: MetaSampling: Making Frame Samplers Efficient for Long-Video Question Answering
- arxiv url: http://arxiv.org/abs/2609.33998v1
- Date: Sun, 27 Sep 2026 22:51:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 07:53:12.81621
- Title: MetaSampling: Making Frame Samplers Efficient for Long-Video Question Answering
- Title（参考訳）: MetaSampling: フレームサンプリングを長時間の質問応答に有効にする
- Abstract要約: textbf MetaSamplingは、既存のフレームセレクタ上に適用可能な、トレーニング不要のプラグイン・アンド・プレイサンプリング戦略である。
我々は36組のフレームセレクタ--MLLM-バックボーン--VQA-ベンチマーク構成のMetaSamplingを評価する。
- 参考スコア（独自算出の注目度）: 1.9480051045857554
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frame selection is an important component of long-video question answering (VQA) with Multimodal Large Language Models (MLLMs). Existing frame-selection methods improve over simple top-$k$ embedding retrieval and uniform sampling, but are typically applied under a fixed global selection budget. We introduce \textbf{MetaSampling}, a training-free, plug-and-play sampling strategy that can be applied on top of existing frame selectors. MetaSampling improves downstream VQA efficiency by dynamically reducing the number of frames passed to the MLLM while preserving, and in some cases improving, answer accuracy. We evaluate MetaSampling across 36 paired frame-selector--MLLM-backbone--VQA-benchmark configurations. MetaSampling reduces the number of selected frames in all 36 configurations and improves accuracy in 25 of them, yielding an average frame reduction of $8.9\%$ while slightly improving accuracy overall.
- Abstract（参考訳）: フレーム選択は,Multimodal Large Language Models (MLLM) を用いた長ビデオ質問応答 (VQA) の重要な構成要素である。
既存のフレーム選択法は、単純なトップ$k$埋め込み検索や一様サンプリングよりも改善されるが、通常は固定されたグローバル選択予算の下で適用される。
既存のフレームセレクタ上に適用可能な,トレーニング不要のプラグイン・アンド・プレイサンプリング戦略である \textbf{MetaSampling} を導入する。
MetaSamplingは、保存中にMLLMに渡されるフレーム数を動的に削減することで、下流のVQA効率を改善する。
我々は36組のフレームセレクタ--MLLM-バックボーン--VQA-ベンチマーク構成のMetaSamplingを評価する。
MetaSamplingは36の全ての構成で選択されたフレームの数を削減し、25のフレームの精度を向上し、平均フレームの削減率は8.9\%となり、全体的な精度はわずかに向上した。
関連論文リスト
- RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding [55.75126327155788]
RIDGEはフレーム選択フレームワークであり、時間信号としてフレームクエリの類似性曲線を読み取る。
タイムラインを構造的なリージョンに分割し、固定予算の下でイベントコア、トランジション、ビルドアップ、アフターマス、コンテキストフレームを保存するために、リージョン固有の選択を適用する。
ほとんどの設定で最高のパフォーマンスを達成し、他の設定では競争力を維持します。
論文 参考訳（メタデータ） (2026-08-30T18:40:51Z) - MEDR: Query-Independent Frame Selection via Multi-Signal Event Modeling and Dynamic Rescoring [17.900940738333407]
フレーム選択はマルチモーダルな大言語モデルの基本コンポーネントである。
一様サンプリングは時間的カバレッジを保持するが、短時間で現れる情報的コンテンツを見逃す可能性がある。
トレーニング不要でクエリ非依存なフレーム選択法を提案する。
論文 参考訳（メタデータ） (2026-08-15T06:10:43Z) - Coverage-Driven Adaptive Keyframe Selection for Video Understanding [12.078063042214573]
そこで我々はCSESを提案する。CSESは学習不要なセマンティックセレクタで、スコアとセレクトのためのフレームの数を適応的に決定する。
CSESはフレームクエリの優位性を推定し、アクティブな取得を誘導し、各入力の時間的カバレッジを適応させる。
次に、意味的関連性、時間的冗長性、視覚的冗長性を共同で説明するカバレッジ問題として、選択の妥当性を定式化する。
論文 参考訳（メタデータ） (2026-08-01T15:24:06Z) - VisualRouter: Query-Grounded Visual Sampling for Long Video Understanding [60.161767365040554]
本稿では,クエリグラウンドビジュアルサンプリングのためのトレーニングフリーかつプラグイン・アンド・プレイフレームワークを提案する。
Visual Firstは、各クエリをグローバルまたはローカルに分類し、それに対応するサンプリング戦略を適用する。
実験の結果、Visualは均一サンプリングよりも複数のLVLMを継続的に改善し、ビデオ-MME、LongVideoBench、MLVUで5.2%、7.7%、11.6%を達成し、Qwen2.5-VL-7Bで既存のトレーニング不要のビジュアルサンプリング手法より優れていた。
論文 参考訳（メタデータ） (2026-07-30T16:23:10Z) - Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。
2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。
32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
論文 参考訳（メタデータ） (2026-07-17T07:04:31Z) - Towards Fast and Effective Long Video Understanding of Multimodal Large Language Models via Adaptive Quasi-Gaussian Sampling [71.62893745623526]
ビデオフレーム選択は準ガウスサンプリングの問題である。
我々はAdaQと呼ばれる適応的でトレーニングなしのアプローチを提案する。
論文 参考訳（メタデータ） (2026-06-23T06:13:30Z) - Improving Video Question Answering through query-based frame selection [15.416301612152004]
Video Question Answering (VideoQA) モデルは、視聴覚コンテンツに対する理解とインタラクションを強化する。
重い計算要求のため、ビデオQAのほとんどの大きなビジュアル言語モデル(VLM)は、動画を一様にサンプリングすることで固定数のフレームに依存している。
本稿では,サブモジュール相互情報(SMI)関数に基づいて,質問に関連のある新しい問合せベースのフレーム選択を提案する。
論文 参考訳（メタデータ） (2026-01-12T12:10:20Z) - Less is More: Token-Efficient Video-QA via Adaptive Frame-Pruning and Semantic Graph Integration [24.337139909108117]
過剰なフレームが文脈の希釈によってパラドックス的に性能を低下させる「レスはそれ以上」現象である。
視覚エコー」は「視覚エコー」という時間的冗長性を有する
AFP"は、ResNet-50とCLIPの機能空間に適応的な階層的クラスタリングアルゴリズムを用いて、これらのエコーを単一の代表に識別し、マージする。
我々の完全なアプローチは、必要なフレームを86.9%まで、合計入力トークンを83.2%まで劇的に削減することを示しています。
論文 参考訳（メタデータ） (2025-08-05T11:31:55Z) - BOLT: Boost Large Vision-Language Model Without Training for Long-form Video Understanding [51.49345400300556]
大規模ビデオ言語モデル (VLM) は様々なビデオ理解タスクにおいて有望な進歩を示した。
均一なフレームサンプリングのような伝統的なアプローチは、必然的に無関係なコンテンツにリソースを割り当てる。
本稿では,フレーム選択戦略の総合的研究を通じて,付加的なトレーニングを伴わずに大規模VLMをブーストする方法であるBOLTを紹介する。
論文 参考訳（メタデータ） (2025-03-27T13:18:40Z) - Adaptive Keyframe Sampling for Long Video Understanding [75.7837692594814]
本稿では、適応鍵フレームサンプリング(AKS)という、単純だが効果的なアルゴリズムを提案する。
これはAdaptive Keyframe Sampling (AKS)と呼ばれるプラグインとプレイモジュールを挿入し、ビデオトークンの固定数で有用な情報を最大化することを目的としている。
2つの長いビデオ理解ベンチマークの実験は、AKSが情報的出会いを選択する際にビデオQA精度を改善することを検証する。
論文 参考訳（メタデータ） (2025-02-28T17:46:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。