論文の概要: A.I.R.: Enabling Adaptive, Iterative, and Reasoning-based Frame Selection For Video Question Answering

• arxiv url: http://arxiv.org/abs/2510.04428v1
• Date: Mon, 06 Oct 2025 01:51:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.643641
• Title: A.I.R.: Enabling Adaptive, Iterative, and Reasoning-based Frame Selection For Video Question Answering
• Title（参考訳）: A.I.R.:ビデオ質問応答のための適応的,反復的,推論に基づくフレーム選択
• Authors: Yuanhao Zou, Shengji Jin, Andong Deng, Youpeng Zhao, Jun Wang, Chen Chen,
• Abstract要約: A.I.R.はAdaptive, Iterative, Reasoningベースのフレーム選択のためのトレーニング不要のアプローチである。 我々は、複雑なクエリに対して深い意味解析を行うために、強力な視覚言語モデル(VLM)を活用している。 提案手法は基礎VLMの性能を大幅に向上させ,計算効率を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 15.220013605396396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effectively applying Vision-Language Models (VLMs) to Video Question Answering (VideoQA) hinges on selecting a concise yet comprehensive set of frames, as processing entire videos is computationally infeasible. However, current frame selection methods face a critical trade-off: approaches relying on lightweight similarity models, such as CLIP, often fail to capture the nuances of complex queries, resulting in inaccurate similarity scores that cannot reflect the authentic query-frame relevance, which further undermines frame selection. Meanwhile, methods that leverage a VLM for deeper analysis achieve higher accuracy but incur prohibitive computational costs. To address these limitations, we propose A.I.R., a training-free approach for Adaptive, Iterative, and Reasoning-based frame selection. We leverage a powerful VLM to perform deep, semantic analysis on complex queries, and this analysis is deployed within a cost-effective iterative loop that processes only a small batch of the most high-potential frames at a time. Extensive experiments on various VideoQA benchmarks demonstrate that our approach outperforms existing frame selection methods, significantly boosts the performance of the foundation VLM, and achieves substantial gains in computational efficiency over other VLM-based techniques.
• Abstract（参考訳）: VLM(Vision-Language Models)をビデオ質問回答(Video Question Answering, VideoQA)に効果的に適用することは、ビデオ全体の処理が計算不可能であるため、簡潔だが包括的なフレームのセットを選択することにつながる。 しかし、現在のフレーム選択法は重要なトレードオフに直面している。例えばCLIPのような軽量な類似性モデルに依存するアプローチは、複雑なクエリのニュアンスを捉えるのに失敗することが多い。 一方、より深い解析のためにVLMを利用する手法は、高い精度で計算コストを抑えることができる。 これらの制約に対処するために、適応性、反復性、および推論に基づくフレーム選択のためのトレーニング不要なアプローチであるA.I.R.を提案する。 我々は強力なVLMを利用して複雑なクエリの深いセマンティック分析を行い、この分析はコスト効率のよい反復ループに展開され、同時に最も強力なフレームの小さなバッチのみを処理する。 様々なビデオQAベンチマークにおいて,提案手法は既存のフレーム選択手法よりも優れ,基礎VLMの性能を大幅に向上させ,他のVLM技術よりも計算効率が大幅に向上することを示した。

関連論文リスト

• FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
  現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。 この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。 従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:43Z)
• Less is More: Token-Efficient Video-QA via Adaptive Frame-Pruning and Semantic Graph Integration [24.337139909108117]
  過剰なフレームが文脈の希釈によってパラドックス的に性能を低下させる「レスはそれ以上」現象である。 視覚エコー」は「視覚エコー」という時間的冗長性を有する AFP"は、ResNet-50とCLIPの機能空間に適応的な階層的クラスタリングアルゴリズムを用いて、これらのエコーを単一の代表に識別し、マージする。 我々の完全なアプローチは、必要なフレームを86.9%まで、合計入力トークンを83.2%まで劇的に削減することを示しています。
  論文  参考訳（メタデータ） (2025-08-05T11:31:55Z)
• E-VRAG: Enhancing Long Video Understanding with Resource-Efficient Retrieval Augmented Generation [8.441615871480858]
  ビデオ理解のための新規かつ効率的なビデオRAGフレームワークであるE-VRAGを提案する。 まず,階層的な問合せ分解に基づくフレーム前フィルタリング手法を適用し,無関係なフレームを除去する。 次に、フレームスコアリングに軽量なVLMを用い、モデルレベルでの計算コストをさらに削減する。
  論文  参考訳（メタデータ） (2025-08-03T02:09:54Z)
• ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding [52.050036778325094]
  ReFoCUS(Reinforcement-guided Frame Optimization for Contextual UnderStanding)は、新しいフレームレベルのポリシー最適化フレームワークである。 ReFoCUSは、参照LMMから派生した報酬信号を用いて、フレームに対するモデル固有の嗜好を反映して、強化学習を通じてフレーム選択ポリシーを学習する。 提案手法は複数のビデオQAベンチマークにおける推論性能を継続的に改善する。
  論文  参考訳（メタデータ） (2025-06-02T03:08:07Z)
• ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
  ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
  論文  参考訳（メタデータ） (2025-05-21T12:29:40Z)
• BOLT: Boost Large Vision-Language Model Without Training for Long-form Video Understanding [51.49345400300556]
  大規模ビデオ言語モデル (VLM) は様々なビデオ理解タスクにおいて有望な進歩を示した。 均一なフレームサンプリングのような伝統的なアプローチは、必然的に無関係なコンテンツにリソースを割り当てる。 本稿では,フレーム選択戦略の総合的研究を通じて,付加的なトレーニングを伴わずに大規模VLMをブーストする方法であるBOLTを紹介する。
  論文  参考訳（メタデータ） (2025-03-27T13:18:40Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。