論文の概要: VideoLVR: Latent Visual Reasoning over Grounded Video Evidence
- arxiv url: http://arxiv.org/abs/2610.37613v1
- Date: Tue, 27 Oct 2026 17:41:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.735988
- Title: VideoLVR: Latent Visual Reasoning over Grounded Video Evidence
- Title（参考訳）: VideoLVR: 地上ビデオの証拠に潜入した視覚的推論
- Abstract要約: 連鎖推論は多モーダル大言語モデル(MLLM)における映像理解を大幅に進歩させる
本稿では,映像の瞬間に局所から潜伏した視覚的証拠を構成するVideoLVRを紹介する。
推論中にタスク関連視覚情報を効率的に再考することにより、ビデオLVRはマルチモーダルコンテキストを大幅に拡張することなく、映像理解を改善する。
- 参考スコア（独自算出の注目度）: 28.115449426106625
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chain-of-thought reasoning has substantially advanced video understanding in multimodal large language models (MLLMs). However, language-based reasoning traces do not provide a reliable mechanism for models to revisit relevant visual evidence, leading to visual forgetting and impairing their ability to reason over video content. Existing approaches maintain visual grounding during reasoning in two main ways: they either refer to evidence using textual coordinates, which specify symbolic locations rather than the visual content itself, or reinsert cropped regions or frames into the multimodal context, preserving visual details at the cost of substantial context expansion. To address these limitations, we introduce VideoLVR, which constructs latent visual evidence from local regions at relevant video moments, thereby providing visual support for intermediate reasoning steps. To supervise latent visual evidence generation, we introduce a visual token prediction objective that formulates visual token reconstruction as prediction over a vocabulary derived from the input video, thereby unifying visual evidence reconstruction and text generation within the same token prediction framework. This shared prediction framework enables MLLMs to reason over interleaved text tokens and latent visual states while integrating evidence from different moments. We further extend VideoLVR to reinforcement learning by treating sampled visual tokens as actions alongside text tokens and jointly optimizing the policy using final-answer rewards. By efficiently revisiting task-relevant visual information during reasoning, VideoLVR improves video understanding without substantially expanding the multimodal context. Experiments on multiple video benchmarks demonstrate its effectiveness, especially on tasks requiring fine-grained visual evidence.
- Abstract（参考訳）: 連鎖推論は、マルチモーダル大言語モデル(MLLM)において、かなり高度なビデオ理解を持つ。
しかし、言語に基づく推論トレースは、関連する視覚的証拠を再考するモデルに対して、信頼できるメカニズムを提供していない。
既存のアプローチは、推論中に視覚的基盤を2つの主な方法で維持する: それらは、視覚的コンテンツ自体よりもシンボル的な位置を指定するテキスト座標を用いたエビデンス、あるいは、トリミングされた領域やフレームをマルチモーダルなコンテキストに再セットし、実質的なコンテキスト拡張のコストで視覚的詳細を保存する。
これらの制約に対処するために,ビデオLVRを導入し,関連する映像瞬間における局所的領域からの潜伏した視覚的エビデンスを構築し,中間的推論ステップに対する視覚的支援を提供する。
遅延した視覚的エビデンス生成を監督するために、入力ビデオから派生した語彙上での予測として視覚的トークン再構成を定式化する視覚的トークン予測目標を導入し、同じトークン予測フレームワーク内で視覚的エビデンス再構築とテキスト生成を統合する。
この共有予測フレームワークにより、MLLMはインターリーブされたテキストトークンと潜在視覚状態を推論し、異なるモーメントからのエビデンスを統合することができる。
我々はさらに、サンプル化された視覚トークンをテキストトークンと並行して処理し、最終回答報酬を用いてポリシーを共同最適化することにより、強化学習にビデオLVRを拡張した。
推論中にタスク関連視覚情報を効率的に再考することにより、ビデオLVRはマルチモーダルコンテキストを大幅に拡張することなく、映像理解を改善する。
複数のビデオベンチマークの実験では、特にきめ細かい視覚的証拠を必要とするタスクにおいて、その効果が示されている。
関連論文リスト
- GRACE: Boosting Video MLLMs with Grounded Action-Centric Evidence for Viewer Sentiment Prediction [24.816669216202246]
本稿では,ビデオMLLMの手がかり抽出と理解を強化する行動中心のエビデンス強化フレームワークを提案する。
本手法は,アクション中心のビデオ記述から,時間順に順序づけられた主観的主観的三脚と補助的な可視的テキスト的手がかりを抽出する。
Pittsデータセットの実験では、Qwen2.5-VLとQwen3-VLのベースラインに対して一貫した改善が見られた。
論文 参考訳（メタデータ） (2026-06-15T04:12:43Z) - UniVLR: Unifying Text and Vision in Visual Latent Reasoning for Multimodal LLMs [36.74593429466411]
テキスト推論と補助的視覚証拠を共有視覚ワークスペースとして扱う統合視覚潜在推論フレームワークを提案する。
我々は,UniVLRが生成した推論トークンをはるかに少なく使用しながら,従来の視覚的潜在推論手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2026-05-12T09:40:03Z) - When Thinking Drifts: Evidential Grounding for Robust Video Reasoning [68.75730050161219]
CoT(Chain-of-Thought)メカニズムは、テキストベースのタスクにおける推論を強化した。
CoTはビデオ推論のパフォーマンスを劣化させ、冗長だが内部のモノローグを誤解させる。
ビジュアルエビデンス・リワード(Visual Evidence Reward、VER)は、ビジュアルエビデンスに根ざした推論トレースの生成に明示的に報いる強化学習フレームワークである。
論文 参考訳（メタデータ） (2025-10-07T16:03:33Z) - Revisit What You See: Disclose Language Prior in Vision Tokens for LVLM Decoding [6.612630497074871]
LVLM(Large Vision-Language Models)は、視覚認識と言語理解を統合することで、マルチモーダルタスクにおける強力なパフォーマンスを実現する。
テキスト生成のガイドとして視覚トークンを参照するトレーニング不要な復号法であるReVisiTを提案する。
論文 参考訳（メタデータ） (2025-06-11T08:46:55Z) - VidText: Towards Comprehensive Evaluation for Video Text Understanding [56.121054697977115]
VidTextは、ビデオテキスト理解の総合的かつ詳細な評価のためのベンチマークである。
さまざまな現実世界のシナリオをカバーし、多言語コンテンツをサポートする。
ビデオレベル、クリップレベル、インスタンスレベルのタスクを備えた階層的評価フレームワークを導入している。
論文 参考訳（メタデータ） (2025-05-28T19:39:35Z) - Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。
実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
論文 参考訳（メタデータ） (2025-01-08T18:31:16Z) - Let's Think Frame by Frame with VIP: A Video Infilling and Prediction
Dataset for Evaluating Video Chain-of-Thought [62.619076257298204]
我々は、少数のビデオ推論のシーケンシャルな理解として、フレーミングビデオ推論を動機付けている。
VIPは、ビデオチェーンオブ思考を通してモデルの推論能力を調べるために設計された、推論時の課題データセットである。
我々は、VIP上でGPT-4、GPT-3、VICUNAをベンチマークし、複雑なビデオ推論タスクのパフォーマンスギャップを実証し、今後の作業を促進する。
論文 参考訳（メタデータ） (2023-05-23T10:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。