論文の概要: Enhancing Localized Reasoning for Long Video Understanding via Efficient Segment-to-Video Supervision
- arxiv url: http://arxiv.org/abs/2608.20814v1
- Date: Fri, 21 Aug 2026 07:34:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.438216
- Title: Enhancing Localized Reasoning for Long Video Understanding via Efficient Segment-to-Video Supervision
- Title（参考訳）: 効率的なセグメンテーション・ツー・ビデオスーパービジョンによる長時間ビデオ理解のための局所推論の強化
- Abstract要約: 長いビデオ理解は、局所的な詳細を曖昧にし、誤った回答を生み出すMLLMを誤解させる可能性がある。
最近の研究は、これらの問題を軽減し、関連する証拠を含む深い推論を動機付けている。
LVUの微粒化推論を効率化する新しいセグメント・ツー・ビデオ・スーパービジョン法(S2V)を提案する。
- 参考スコア（独自算出の注目度）: 26.79792773593289
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Though Multimodal Large Language Models (MLLMs) have shown impressive potential in video understanding, long video understanding (LVU) remains challenging since distracting noise in complex and lengthy contexts can obscure localized details, misleading MLLMs to produce incorrect answers. Recent works mitigate these issues by incentivizing deep reasoning to include relevant evidence. However, these methods have two main problems: First, the reinforcement fine-tuning framework (RFT) they leveraged incurs substantial training overheads, including high annotation costs and complicated reward designs. Second, the self-reflective and iterative-perception mechanism in some methods causes lengthy outputs and high inference latency. To alleviate these problems, we propose a novel Segment-to-Video Supervision} method (S2V) to efficiently enhance fine-grained reasoning in LVU. Specifically, we generate question answer pairs (VQA) based on localized segments, and then transfer these segment-based VQA back to the whole video for training. Due to focusing on short segments, segment-based VQA can naturally notice details which tend to be overlooked from a whole-video perspective. Training on such data can enforce MLLMs to correctly associate fine-grained details with QA while avoiding distracting noise in the whole video. The S2V training involves just reinforcement learning (RL) with a simple accuracy reward based on only 10K VQA samples and the resulting S2V model predicts answer using a single forward pass with limited output tokens. Experimental results demonstrate that S2V can consistently improve LVU performance across multiple LVU benchmarks, outperforming both general MLLMs and reasoning-based methods not only in LVU accuracy but also in training and inference efficiency.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)はビデオ理解において顕著な可能性を示しているが、複雑で長大な文脈におけるノイズの分散は、局所的な詳細を曖昧にし、MLLMを誤った回答へと導いてくれるため、長いビデオ理解(LVU)は依然として困難である。
最近の研究は、これらの問題を軽減し、関連する証拠を含む深い推論を動機付けている。
第一に、強化微調整フレームワーク(RFT)は、高いアノテーションコストや複雑な報酬設計を含む、かなりの訓練オーバーヘッドを生かした。
第二に、いくつかの手法における自己反射的かつ反復的知覚機構は、長い出力と高い推論遅延を引き起こす。
これらの問題を緩和するために,LVUの微粒化推論を効率的に向上する新しいセグメント・ツー・ビデオ・スーパービジョン法(S2V)を提案する。
具体的には、局所化されたセグメントに基づいて質問応答ペア(VQA)を生成し、これらのセグメントベースのVQAをトレーニングのために全ビデオに転送する。
短いセグメントに焦点を当てているため、セグメントベースのVQAはビデオ全体の観点から見落とされがちな詳細に自然に気づくことができる。
このようなデータのトレーニングでは、MLLMはビデオ全体のノイズを邪魔することなく、きめ細かい詳細をQAと正しく関連付けることができる。
S2Vトレーニングは、10K VQAサンプルのみに基づく単純な精度の報酬を持つ強化学習(RL)のみを伴い、結果のS2Vモデルは、限られた出力トークンを持つ単一のフォワードパスを使用して回答を予測する。
実験結果から,S2Vは複数のLVUベンチマークにおいて連続的にLVU性能を向上し,LVUの精度だけでなく,トレーニングや推論効率においても一般のMLLMや推論に基づく手法よりも優れていた。
関連論文リスト
- VideoTG-R1: Boosting Video Temporal Grounding via Curriculum Reinforcement Learning on Reflected Boundary Annotations [59.40631942092535]
ビデオ時間グラウンド(VTG)は、言語クエリに基づいて、ビデオ内の正確なセグメントを特定することを目的としている。
最近のMLLM(Multimodal Large Language Models)は、強化学習(RL)を通してVTGに取り組むことを約束している。
本稿では,境界アノテーションを反映した新しいカリキュラムRLフレームワークであるVideoTG-R1を提案する。
論文 参考訳（メタデータ） (2025-10-27T14:55:38Z) - Vgent: Graph-based Retrieval-Reasoning-Augmented Generation For Long Video Understanding [56.45689495743107]
Vgentは、長いビデオ理解のためにLVLMを強化するグラフベースの検索推論拡張生成フレームワークである。
我々は,3つの長ビデオ理解ベンチマークを用いて,様々なオープンソースLVLMを用いてフレームワークの評価を行った。
論文 参考訳（メタデータ） (2025-10-15T19:14:58Z) - Reasoning-Enhanced Domain-Adaptive Pretraining of Multimodal Large Language Models for Short Video Content Governance [34.134289344567705]
本稿では,不適切なコンテンツ検出を統一するためのMLLM事前学習パラダイムを提案する。
短いビデオコンテンツとMLLMのオリジナル事前学習データとの分配ギャップに対処するために,3つの目標事前学習タスクを導入する。
実験結果から,ゼロショットおよび教師付き微調整環境におけるMLLMの性能は,事前学習により有意に向上することが示された。
論文 参考訳（メタデータ） (2025-09-25T19:46:34Z) - Vad-R1: Towards Video Anomaly Reasoning via Perception-to-Cognition Chain-of-Thought [58.321044666612174]
Vad-R1は、ビデオ異常推論のためのエンドツーエンドのMLLMベースのフレームワークである。
我々は、異常を認識する人間の過程をシミュレートするパーセプション・トゥ・コグニション・チェーン・オブ・ワット(P2C-CoT)を設計する。
また,MLLMの異常推論能力を明示的に動機付ける改良型強化学習アルゴリズムAVA-GRPOを提案する。
論文 参考訳（メタデータ） (2025-05-26T12:05:16Z) - ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。
ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。
ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
論文 参考訳（メタデータ） (2025-05-21T12:29:40Z) - VCRBench: Exploring Long-form Causal Reasoning Capabilities of Large Video Language Models [29.706347050700867]
ビデオベース長周期因果推論(VCRBench)という新しいベンチマークを導入する。
VCRBenchは、LVLM(Large Video Language Model)が特定の目標を達成するために必要なイベントを特定し、推論し、正しくシーケンスできるかどうかをテストする。
本稿では,ビデオに基づく因果推論を,ビデオ認識と因果推論の2つのサブタスクに分割するモジュラーアプローチである認識推論分解(RRD)を提案する。
論文 参考訳（メタデータ） (2025-05-13T11:35:58Z) - Learning to Instruct for Visual Instruction Tuning [79.76580302615174]
視覚インストラクションチューニング(VIT)の進歩であるL2Tを提案する。
L2Tは、損失関数を命令シーケンスと応答シーケンスの両方に組み込むことによって、シンプルだが効果的なアプローチを採用する。
驚くべきことに、L2Tは極めて基本的な視覚能力を備えており、キャプション性能は最大で18%向上している。
論文 参考訳（メタデータ） (2025-03-28T08:04:51Z) - Memory-enhanced Retrieval Augmentation for Long Video Understanding [91.7163732531159]
本稿では,メモリ強化型RAGベースの新しいアプローチであるMemVidを紹介する。
提案手法は,1) 全体的映像情報の記憶,2) メモリに基づくタスクの情報要求の推論,3) 情報要求に基づくクリティカルモーメントの検索,4) 最終回答を生成するための検索モーメントの抽出という4つの基本的なステップで機能する。
MemVid は LVLM 法と RAG 法に比較して, 効率と有効性を示す。
論文 参考訳（メタデータ） (2025-03-12T08:23:32Z) - MLVU: Benchmarking Multi-task Long Video Understanding [28.35597611731375]
MLVU (Multi-task Long Video Understanding Benchmark) と呼ばれる新しいベンチマークを提案する。
MLVUは以下の重要な値を示す: textit1) ビデオ長の相当かつ柔軟な拡張により、ベンチマークは幅広い期間にわたってLVUのパフォーマンスを評価することができる。
23の最新のMLLMによる実証研究は、今日の技術を改善するための重要な余地を明らかにしている。
論文 参考訳（メタデータ） (2024-06-06T17:09:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。