論文の概要: Modularized Dynamic-Granularity Video LLM for Multi-Event Long Video Understanding
- arxiv url: http://arxiv.org/abs/2607.15778v1
- Date: Fri, 17 Jul 2026 09:21:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.812117
- Title: Modularized Dynamic-Granularity Video LLM for Multi-Event Long Video Understanding
- Title（参考訳）: マルチイベントロングビデオ理解のためのモジュール化動的グラニュラリティビデオLLM
- Abstract要約: マルチイベント長ビデオ理解のためのモジュール化動的グラニュラリティビデオLLMフレームワークを提案する。
MoD-VLLMは時間的接地と意味的理解を反復的かつ自己回帰的に統合する。
いくつかの長いビデオ理解ベンチマークとMEventBenchの実験は、最先端のベースラインを大きく上回っている。
- 参考スコア（独自算出の注目度）: 35.62220203429887
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Video Large Language Models (Video LLMs) have made significant advancements in various video understanding tasks. However, long-video scenarios remain challenging due to the tension between limited visual token budgets and the need to capture multiple key events. Existing approaches typically process long videos in two stages, i.e., i) select keyframes and ii) perform detailed perception, which exhibit limitations: they lack a modular mechanism for adaptive capacity allocation and self-correction, resulting in unreliable modeling. To tackle these challenges, we propose MoD-VLLM, a novel Modularized Dynamic-Granularity Video LLM framework for multi-event long video understanding, which unifies temporal grounding and semantic understanding iteratively and self-reflectively. Specifically, we propose a Positive-Negative Video Segments Grounding module and a Modularized Dynamic-Granularity Reflection module, which form a closed loop to progressively localize the question-related video segments. The grounding module instructs a Video LLM to distinguish relevant from irrelevant video segments based on the video question. The reflection module employs a modularized scheduler that dynamically selects fine-grained encoding for relevant positive segments to capture detailed perception and coarse-grained encoding for negative segments to maintain global context. We further propose a dynamic-granularity reinforcement learning strategy, allowing MoD-VLLM to learn optimal grounding policies and dynamic granularity visual representation jointly. Moreover, we propose MEventBench, a challenging Multi-Event Long Video Benchmark for complex long video reasoning. Extensive experiments on several long video understanding benchmarks and our MEventBench demonstrate that MoD-VLLM significantly outperforms state-of-the-art baselines.
- Abstract（参考訳）: ビデオLLM(Video Large Language Models)は、様々なビデオ理解タスクにおいて大きな進歩を遂げている。
しかし、視覚トークン予算の制限と、複数の重要なイベントをキャプチャする必要があるため、長いビデオシナリオは依然として困難なままである。
既存のアプローチは通常、長いビデオを2段階、すなわち2段階に分けて処理する。
i) キーフレームを選択して
二 適応能力確保及び自己補正のためのモジュール機構が欠如しているため、信頼性の低いモデリングを行うことができる。
これらの課題に対処するために,時間的接地と意味的理解を反復的かつ自己回帰的に統合する,多点長ビデオ理解のためのモジュール化動的グラニュラリティビデオLLMフレームワークであるMoD-VLLMを提案する。
具体的には,肯定的Negative Video Segments GroundingモジュールとModularized Dynamic-Granularity Reflectionモジュールを提案する。
グラウンドモジュールは、ビデオLLMに、ビデオ質問に基づいて、関連のないビデオセグメントとを区別するように指示する。
リフレクションモジュールはモジュール化されたスケジューラを使用し、関連する正のセグメントに対して細粒度の符号化を動的に選択して詳細な認識を捉え、負のセグメントに対して粗粒度の符号化を行い、グローバルなコンテキストを維持する。
さらに,動的粒度強化学習戦略を提案し,MoD-VLLMが最適接地ポリシーと動的粒度視覚表現を共同で学習できるようにする。
さらに,複雑なロングビデオ推論のためのマルチイベントロングビデオベンチマークであるMEventBenchを提案する。
いくつかの長いビデオ理解ベンチマークとMEventBenchによる大規模な実験により、MoD-VLLMは最先端のベースラインを著しく上回ります。
関連論文リスト
- HPP: Hierarchical Programmatic Probing for Long Video Understanding by Decoupling Perception and Reasoning [0.764671395172401]
Hierarchical Program Probing (HPP) は、長いビデオ理解を階層化されたビデオの反復的、プログラム的な探索として再構成するフレームワークである。
長いビデオ上での探索を可能にするために,情報認識型階層的セグメンテーション,遅延相互作用セマンティック検索,構造化と時間的局所化のための探索機能,という3つのコンポーネントを紹介した。
論文 参考訳（メタデータ） (2026-06-19T20:43:49Z) - ReMoRa: Multimodal Large Language Model based on Refined Motion Representation for Long-Video Understanding [12.236081012244533]
本研究では,大言語モデル(MLLM)による映像理解に焦点を当てた。
圧縮表現を直接操作して動画を処理するビデオMLLMであるReMoRaを提案する。
本稿では,ReMoRaの長期ビデオ理解ベンチマークを網羅した実験により,ReMoRaの有効性を実証する。
論文 参考訳（メタデータ） (2026-02-18T12:37:35Z) - Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models [78.32948112203228]
ビデオ理解はコンピュータビジョンにおける最も困難なフロンティアである。
近年,映像理解タスクにおいて,映像多時間モデルが顕著に出現している。
Surveyは、ビデオ-LMM能力を向上するための統一的なフレームワークを研究者や実践者に提供することを目的としている。
論文 参考訳（メタデータ） (2025-10-06T17:10:44Z) - Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding [33.58579390725519]
Video-MTRは、反復的なキーセグメントの選択と質問理解を可能にするために設計された強化されたマルチターン推論フレームワークである。
単一のターンで予測を生成する従来のビデオ推論パイプラインとは異なり、Video-MTRは複数のターンで推論を実行する。
中間推論プロセスを保証するため,新たな二段階報酬システムを導入する。
論文 参考訳（メタデータ） (2025-08-28T06:55:08Z) - Free-MoRef: Instantly Multiplexing Context Perception Capabilities of Video-MLLMs within Single Inference [88.57742986765238]
Free-MoRefは、ビデオMLLMのコンテキスト認識能力を多重化するトレーニング不要のアプローチである。
実験によると、Free-MoRefは1つのA100 GPUで圧縮することなく、2$times$から8$times$の入力フレームを完全に認識できる。
論文 参考訳（メタデータ） (2025-08-04T07:31:10Z) - SiLVR: A Simple Language-based Video Reasoning Framework [71.77141065418238]
簡単な言語ベースのビデオ推論フレームワークであるSiLVRについて紹介する。
第一段階では、SiLVRは生動画を多感覚入力を用いて言語ベースの表現に変換する。
第2段階では、複雑なビデオ言語理解タスクを解決するために、言語記述を強力な理由付けLLMに入力する。
論文 参考訳（メタデータ） (2025-05-30T17:59:19Z) - CoT-RVS: Zero-Shot Chain-of-Thought Reasoning Segmentation for Videos [59.391265901911005]
本稿では,MLLMのゼロショット・チェーン・オブ・ソート(CoT)機能を利用して,時間-意味的推論による複雑な問題に対処する新しいフレームワークであるCoT-RVSを提案する。
CoT-RVSは、言語クエリ(セマンティック)にマッチする可能性のある特定のフレーム内の可視オブジェクトを分析し、すべてのフレーム(一時)の中で、懸命に観察できる各オブジェクトに対して対応するオブジェクトを選択する。
当社のフレームワークのトレーニングフリー機能は,テスト時にCoTを使用して,よりよいターゲットが出現し始めると関心の対象を更新するオンラインビデオストリーム処理の拡張も可能にしています。
論文 参考訳（メタデータ） (2025-05-24T07:01:31Z) - InternVideo2.5: Empowering Video MLLMs with Long and Rich Context Modeling [56.130911402831906]
本稿では,LRC(Long and rich context)モデリングによるビデオ大言語モデル(LM)の性能向上を目的とする。
InternVideo2.5の新バージョンを開発し、ビデオの細かい詳細を知覚するオリジナルのMLLMの能力の向上に焦点をあてる。
実験により、このユニークな設計ML LRCは、主流理解ベンチマークにおけるビデオMLLMの結果を大幅に改善することを示した。
論文 参考訳（メタデータ） (2025-01-21T18:59:00Z) - LongVLM: Efficient Long Video Understanding via Large Language Models [55.813206751150716]
LongVLMはビデオ理解のためのシンプルだが強力なビデオLLMである。
ローカル情報とグローバル情報の両方を含むビデオ表現をエンコードする。
我々のモデルは、長いビデオ理解のためのより正確な応答を生成する。
論文 参考訳（メタデータ） (2024-04-04T11:33:29Z) - Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback [38.708690624594794]
ビデオとテキストのマルチモーダルアライメントは、主にマルチモーダル命令・チューンデータのボリュームと品質が不足しているため、依然として困難である。
本稿では,AIフィードバックからの強化学習(Reinforcement Learning from AI Feedback, RLAIF)と呼ばれる,マルチモーダルAIシステムを用いた新たなアライメント戦略を提案する。
具体的には、嗜好フィードバックの生成中に、詳細な映像記述を文脈として提供することによって、文脈対応報酬モデルを提案する。
論文 参考訳（メタデータ） (2024-02-06T06:27:40Z) - Video Understanding with Large Language Models: A Survey [107.7736911322462]
言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。
Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。
本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
論文 参考訳（メタデータ） (2023-12-29T01:56:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。