論文の概要: Incentivizing Vision Language Models to Search for Long Video Question Answering

• arxiv url: http://arxiv.org/abs/2607.02959v1
• Date: Fri, 03 Jul 2026 05:05:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.473274
• Title: Incentivizing Vision Language Models to Search for Long Video Question Answering
• Title（参考訳）: 長期ビデオ質問応答探索のための視覚言語モデルの導入
• Abstract要約: VSeekは、LVQA(Long-Video Question answering)をマルチターン検索プロセスに変換する。 本稿では,オープンエンド自然言語を個別の視覚的検証で橋渡しする新しいニューロシンボリックアプローチを提案する。 VSeekは、Pass@1スコアを8%改善し、Pass@4スコアを15%改善した。
• 参考スコア（独自算出の注目度）: 41.69519333811218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce VSeek, an agentic framework that transforms long-video question answering (LVQA) from a passive, single-pass perception task into a multi-turn retrieval process. VSeek utilizes a natural language-driven search to identify relevant context within long videos and is post-trained with reinforcement learning (RL) to jointly formulate targeted search queries and reason over retrieved clips for LVQA. While RL post-training has revolutionized reasoning in symbolic domains such as mathematics and code, its application to long-video understanding remains hindered by a lack of verified rewards. To ensure that the retrieved context is relevant, we propose a novel neuro-symbolic approach that bridges open-ended natural language with discrete visual verification. Specifically, complex user queries are compiled into formal temporal logic specifications for systematically decomposing natural language questions into a definitive checklist of required atomic visual primitives, such as key objects and activities, along with their temporal ordering. These systematically derived grounding events provide the critical feedback signal for RL post-training, enabling dense, verifiable rewards based on the successful retrieval of these specific visual elements rather than relying entirely on outcome-only answer accuracy. By explicitly optimizing for this verifiable evidence-seeking behavior, VSeek improves Pass@1 scores by up to 8% and Pass@4 scores by 15% on long-video understanding benchmarks compared to base models. We open-source our code at https://utaustin-swarmlab.github.io/VSeek.
• Abstract（参考訳）: 長ビデオ質問応答(LVQA)を受動的単一パス認識タスクからマルチターン検索プロセスに変換するエージェントフレームワークであるVSeekを紹介する。 VSeekは、自然言語による検索を利用して、長いビデオ内の関連するコンテキストを識別し、強化学習(RL)で訓練後、ターゲット検索クエリを共同で定式化し、LVQAのために検索されたクリップを推論する。 RLポストトレーニングは、数学やコードなどの記号的領域における推論に革命をもたらしたが、その長期ビデオ理解への応用は、証明された報酬の欠如によって妨げられている。 検索した文脈が関連していることを確認するために,オープンエンド自然言語を個別の視覚的検証でブリッジする新しいニューロシンボリックアプローチを提案する。 具体的には、複雑なユーザクエリを形式的な時間論理仕様にコンパイルし、自然言語の質問を体系的に分解して、キーオブジェクトやアクティビティなどの必要な視覚的プリミティブの確定チェックリストと、その時間的順序を決定する。 これらのシステマティックに派生した接地イベントは、RLのポストトレーニングに重要なフィードバック信号を提供し、結果のみの回答精度に頼るのではなく、これらの特定の視覚要素の検索に成功したことに基づく、密度の高い検証可能な報酬を可能にする。 この検証可能なエビデンス検索動作を明示的に最適化することで、VSeekはPass@1スコアを最大8%改善し、Pass@4スコアをベースモデルと比較して、長時間ビデオ理解ベンチマークで15%改善する。 ソースコードはhttps://utaustin-swarmlab.github.io/VSeek.comで公開しています。

関連論文リスト

• ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning [78.94047086588078]
  長文推論のための LLM Harness として再帰的証拠を提案する。 長文推論を改善するための訓練不要推論法である。 128Kのコンテキスト長を持つ8つの長文データセットの実験は、エビデンスの利用を一貫して改善していることを示している。
  論文  参考訳（メタデータ） (2026-07-02T17:59:26Z)
• CACR:Reinforcing Temporal Answer Grounding in Instructional Video via Candidate-Aware Causal Reasoning [8.230031783815749]
  TAGVは、自然言語クエリに応答する正確なビデオセグメントを見つけることを目的としている。 この課題は、意味論的に複雑な質問を理解する必要があるため、依然として困難である。 本稿では,これらの制約に対処するための候補対応因果推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-07T03:23:18Z)
• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• Vgent: Graph-based Retrieval-Reasoning-Augmented Generation For Long Video Understanding [56.45689495743107]
  Vgentは、長いビデオ理解のためにLVLMを強化するグラフベースの検索推論拡張生成フレームワークである。 我々は,3つの長ビデオ理解ベンチマークを用いて,様々なオープンソースLVLMを用いてフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2025-10-15T19:14:58Z)
• NeuS-QA: Grounding Long-Form Video Understanding in Temporal Logic and Neuro-Symbolic Reasoning [25.109179044490844]
  LVQA(Long-Form Question Answering)は、従来の視覚的質問応答(VQA)を超えた課題を提起する バニラはフレームを均一にサンプリングし、問題のあるVLMに供給し、重要なトークンオーバーヘッドを発生させる。 NeuS-QAは自然言語を形式的時間論理表現に変換し、フレームレベルの意味論的命題からビデオオートマトンを構築する。
  論文  参考訳（メタデータ） (2025-09-22T17:15:13Z)
• VideoExplorer: Think With Videos For Agentic Long-Video Understanding [117.68219930263153]
  ロングビデオ理解はコンピュータビジョンにおいて難しい問題である。 ビデオによる思考の原則に基づくフレームワークであるVideoExplorerを提案する。 静的なコンテキストを推論する代わりに、VideoExplorerは、サブクエストを反復的に定式化し、関連するモーメントを特定し、タスク指向で時間的にスケーラブルなビデオ理解を実行する。
  論文  参考訳（メタデータ） (2025-06-12T15:39:10Z)
• QuoTA: Query-oriented Token Assignment via CoT Query Decouple for Long Video Comprehension [86.0749609778104]
  既存の大規模ビデオ言語モデルを拡張した,アンテホックなトレーニングフリーモジュールQuoTAを提案する。 QuoTAは、クエリ関連性に基づいて、フレームレベルの重要度スコアを戦略的に割り当てる。 クエリをChain-of-Thoughts推論で切り離し、より正確なLVLMベースのフレーム重要度スコアリングを容易にする。
  論文  参考訳（メタデータ） (2025-03-11T17:59:57Z)
• Semantic-aware Dynamic Retrospective-Prospective Reasoning for Event-level Video Question Answering [14.659023742381777]
  Event-Level Video Question Answering (EVQA)は、最適な回答を提供するために、ビデオイベント間の複雑な推論を必要とする。 本稿では,映像に基づく質問応答のための意味認識動的ふりかえり推論手法を提案する。 提案手法は,従来の最先端モデルと比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-05-14T03:57:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。