論文の概要: A.I.R.: Enabling Adaptive, Iterative, and Reasoning-based Frame Selection For Video Question Answering

• arxiv url: http://arxiv.org/abs/2510.04428v1
• Date: Mon, 06 Oct 2025 01:51:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.643641
• Title: A.I.R.: Enabling Adaptive, Iterative, and Reasoning-based Frame Selection For Video Question Answering
• Title（参考訳）: A.I.R.:ビデオ質問応答のための適応的,反復的,推論に基づくフレーム選択
• Abstract要約: A.I.R.はAdaptive, Iterative, Reasoningベースのフレーム選択のためのトレーニング不要のアプローチである。 我々は、複雑なクエリに対して深い意味解析を行うために、強力な視覚言語モデル(VLM)を活用している。 提案手法は基礎VLMの性能を大幅に向上させ,計算効率を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 15.220013605396396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effectively applying Vision-Language Models (VLMs) to Video Question Answering (VideoQA) hinges on selecting a concise yet comprehensive set of frames, as processing entire videos is computationally infeasible. However, current frame selection methods face a critical trade-off: approaches relying on lightweight similarity models, such as CLIP, often fail to capture the nuances of complex queries, resulting in inaccurate similarity scores that cannot reflect the authentic query-frame relevance, which further undermines frame selection. Meanwhile, methods that leverage a VLM for deeper analysis achieve higher accuracy but incur prohibitive computational costs. To address these limitations, we propose A.I.R., a training-free approach for Adaptive, Iterative, and Reasoning-based frame selection. We leverage a powerful VLM to perform deep, semantic analysis on complex queries, and this analysis is deployed within a cost-effective iterative loop that processes only a small batch of the most high-potential frames at a time. Extensive experiments on various VideoQA benchmarks demonstrate that our approach outperforms existing frame selection methods, significantly boosts the performance of the foundation VLM, and achieves substantial gains in computational efficiency over other VLM-based techniques.
• Abstract（参考訳）: VLM(Vision-Language Models)をビデオ質問回答(Video Question Answering, VideoQA)に効果的に適用することは、ビデオ全体の処理が計算不可能であるため、簡潔だが包括的なフレームのセットを選択することにつながる。 しかし、現在のフレーム選択法は重要なトレードオフに直面している。例えばCLIPのような軽量な類似性モデルに依存するアプローチは、複雑なクエリのニュアンスを捉えるのに失敗することが多い。 一方、より深い解析のためにVLMを利用する手法は、高い精度で計算コストを抑えることができる。 これらの制約に対処するために、適応性、反復性、および推論に基づくフレーム選択のためのトレーニング不要なアプローチであるA.I.R.を提案する。 我々は強力なVLMを利用して複雑なクエリの深いセマンティック分析を行い、この分析はコスト効率のよい反復ループに展開され、同時に最も強力なフレームの小さなバッチのみを処理する。 様々なビデオQAベンチマークにおいて,提案手法は既存のフレーム選択手法よりも優れ,基礎VLMの性能を大幅に向上させ,他のVLM技術よりも計算効率が大幅に向上することを示した。

関連論文リスト

• MarKey: Marginal Utility Guided Greedy Keyframe Selection for Long Video Understanding [17.82627304498428]
  長いビデオの理解は、大きな言語モデルでは依然として困難である。 最近の無訓練選択法はより効率的な推論を可能にしている。 本稿では,マルチモーダル選択をサブセット認識の欲求最適化として定式化するフレームワークであるMarKeyを提案する。
  論文  参考訳（メタデータ） (2026-09-14T11:39:20Z)
• Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
  MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。 2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。 32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
  論文  参考訳（メタデータ） (2026-07-17T07:04:31Z)
• Gaussian Mixture Modeling for Event-Aware Visual Allocation in Long Video Understanding [55.04091863981529]
  LVLM(Large Vision-Language Models)は、一様サンプリングに伴う計算コストと情報損失により、長いビデオ理解において重大な課題に直面している。 本稿ではGMM-EVAを提案する。GMM-EVAはガウス混合モデルを用いて離散フレームからイベントレベルの構造をモデル化する。 次に、時間的文脈を維持しトークン予算を最適化するために低分解能二次観測を用いながら、高忠実度詳細のためにイベント毎の1次高分解能を1つ保持するために、分化したアロケーション戦略を適用する。
  論文  参考訳（メタデータ） (2026-07-14T09:27:25Z)
• Query-Conditioned Evidential Keyframe Sampling for MLLM-Based Long-Form Video Understanding [21.306038832082553]
  MLLM(Multimodal Large Language Models)は,ビデオ質問応答において高い性能を示した。 ロングフォームビデオへのそれらの応用は、コンテキスト長と計算コストの制限によって制限される。 本稿では,情報理論に基づくエビデンス駆動サンプリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-01T15:02:50Z)
• GIFT: Global Irreplaceability Frame Targeting for Efficient Video Understanding [63.62445065977448]
  GIFT: Global Irreplaceability Frame Targetingはトレーニング不要のフレームワークで、固有の非配置性を評価してフレームを選択する。 GIFTは,LLaVA-Video-7Bの長文ビデオベンチマークにおいて,一様サンプリングに比べて最大12.5%向上したことを示す。
  論文  参考訳（メタデータ） (2026-03-26T06:21:41Z)
• HFS: Holistic Query-Aware Frame Selection for Efficient Video Reasoning [13.569944737211472]
  ビデオ理解におけるキーフレーム選択は重要な課題である。 フレームを独立にスコアする従来のトップK選択法は、選択全体を最適化するのに失敗することが多い。 フレーム選択のためのエンドツーエンドのトレーニング可能なタスク適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-12T13:10:30Z)
• FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
  現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。 この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。 従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:43Z)
• Less is More: Token-Efficient Video-QA via Adaptive Frame-Pruning and Semantic Graph Integration [24.337139909108117]
  過剰なフレームが文脈の希釈によってパラドックス的に性能を低下させる「レスはそれ以上」現象である。 視覚エコー」は「視覚エコー」という時間的冗長性を有する AFP"は、ResNet-50とCLIPの機能空間に適応的な階層的クラスタリングアルゴリズムを用いて、これらのエコーを単一の代表に識別し、マージする。 我々の完全なアプローチは、必要なフレームを86.9%まで、合計入力トークンを83.2%まで劇的に削減することを示しています。
  論文  参考訳（メタデータ） (2025-08-05T11:31:55Z)
• E-VRAG: Enhancing Long Video Understanding with Resource-Efficient Retrieval Augmented Generation [8.441615871480858]
  ビデオ理解のための新規かつ効率的なビデオRAGフレームワークであるE-VRAGを提案する。 まず,階層的な問合せ分解に基づくフレーム前フィルタリング手法を適用し,無関係なフレームを除去する。 次に、フレームスコアリングに軽量なVLMを用い、モデルレベルでの計算コストをさらに削減する。
  論文  参考訳（メタデータ） (2025-08-03T02:09:54Z)
• ReAgent-V: A Reward-Driven Multi-Agent Framework for Video Understanding [71.654781631463]
  ReAgent-Vは、新しいエージェントビデオ理解フレームワークである。 推論中に効率の良いフレーム選択とリアルタイムの報酬生成を統合する。 12のデータセットに対する大規模な実験は、一般化と推論において大きな成果を上げている。
  論文  参考訳（メタデータ） (2025-06-02T04:23:21Z)
• ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding [52.050036778325094]
  ReFoCUS(Reinforcement-guided Frame Optimization for Contextual UnderStanding)は、新しいフレームレベルのポリシー最適化フレームワークである。 ReFoCUSは、参照LMMから派生した報酬信号を用いて、フレームに対するモデル固有の嗜好を反映して、強化学習を通じてフレーム選択ポリシーを学習する。 提案手法は複数のビデオQAベンチマークにおける推論性能を継続的に改善する。
  論文  参考訳（メタデータ） (2025-06-02T03:08:07Z)
• ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
  ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
  論文  参考訳（メタデータ） (2025-05-21T12:29:40Z)
• BOLT: Boost Large Vision-Language Model Without Training for Long-form Video Understanding [51.49345400300556]
  大規模ビデオ言語モデル (VLM) は様々なビデオ理解タスクにおいて有望な進歩を示した。 均一なフレームサンプリングのような伝統的なアプローチは、必然的に無関係なコンテンツにリソースを割り当てる。 本稿では,フレーム選択戦略の総合的研究を通じて,付加的なトレーニングを伴わずに大規模VLMをブーストする方法であるBOLTを紹介する。
  論文  参考訳（メタデータ） (2025-03-27T13:18:40Z)
• Adaptive Video Understanding Agent: Enhancing efficiency with dynamic frame sampling and feedback-driven reasoning [29.89820310679906]
  本稿では,長大な映像理解の効率性と有効性を両立させるエージェントベース手法を提案する。 提案手法の重要な側面はクエリ適応型フレームサンプリングであり,LLMの推論能力を利用して,最も関連性の高いフレームのみをリアルタイムに処理する。 提案手法を複数のビデオ理解ベンチマークで評価し,最先端性能の向上だけでなく,サンプリングしたフレーム数を削減して効率の向上を図っている。
  論文  参考訳（メタデータ） (2024-10-26T19:01:06Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。