論文の概要: HPP: Hierarchical Programmatic Probing for Long Video Understanding by Decoupling Perception and Reasoning
- arxiv url: http://arxiv.org/abs/2606.21734v1
- Date: Fri, 19 Jun 2026 20:43:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 03:39:46.879237
- Title: HPP: Hierarchical Programmatic Probing for Long Video Understanding by Decoupling Perception and Reasoning
- Title（参考訳）: HPP:知覚と推論の分離による長いビデオ理解のための階層型プログラム推論
- Authors: Awais Rauf, Ahmed Hasssan, Greg Slabaugh,
- Abstract要約: Hierarchical Program Probing (HPP) は、長いビデオ理解を階層化されたビデオの反復的、プログラム的な探索として再構成するフレームワークである。
長いビデオ上での探索を可能にするために,情報認識型階層的セグメンテーション,遅延相互作用セマンティック検索,構造化と時間的局所化のための探索機能,という3つのコンポーネントを紹介した。
- 参考スコア（独自算出の注目度）: 0.764671395172401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding long videos requires fine-grained perception and multi-step, higher-order reasoning over complex, long-range spatio-temporal dynamics. Vision-language models (VLMs) encode video frames into visual tokens and attempt to perform both perception and multi-step planning latently, within a single forward pass. This coupled formulation, however, is bottlenecked by the LLM's limited capacity to discover and execute multi-step strategies in its latent representations. To address this bottleneck, we propose Hierarchical Programmatic Probing (HPP), a framework that decouples semantic perception from higher-order temporal reasoning by reformulating long video understanding as iterative, programmatic exploration of a hierarchically segmented video. Specifically, a coding-capable LLM plans and executes a multi-step strategy in an interactive coding environment, probing the video for information and invoking a VLM for localized perception on demand. To make probing tractable over long videos, we introduce three components: information-density-aware hierarchical segmentation, late-interaction semantic retrieval, and structured probing functions for coarse-to-fine temporal localization. We validate HPP on LongVideoBench, which requires both fine-grained perception and long-range relational reasoning, and show that decoupling the two via iterative programmatic probing yields substantial gains. Further results on EgoSchema, VideoMME, and MLVU demonstrate the effectiveness of our approach across diverse long-video benchmarks.
- Abstract（参考訳）: 長いビデオを理解するには、複雑な、長距離の時相的ダイナミクスに対する微妙な認識と多段階の高次推論が必要である。
視覚言語モデル(VLM)は、ビデオフレームを視覚トークンにエンコードし、1つの前方パス内で、知覚と多段階計画の両方を実行する。
しかし、この結合された定式化は、LLMの潜在表現における多段階戦略を発見し実行するための限られた能力によってボトルネックとなる。
このボトルネックに対処するために、階層的セグメント化されたビデオの反復的プログラム的探索として長いビデオ理解を再構成することにより、高次の時間的推論から意味的知覚を分離するフレームワークである階層型プログラム探索(HPP)を提案する。
具体的には、コーディング可能なLCMは、インタラクティブなコーディング環境で多段階戦略を計画、実行し、ビデオに情報を提供し、VLMにオンデマンドの局所的認識を呼び起こす。
長いビデオ上での探索を可能にするために,情報密度を意識した階層的セグメンテーション,遅延相互作用のセマンティック検索,粗い時間的局所化のための構造化された探索関数の3つのコンポーネントを紹介した。
我々は,細粒度認識と長距離関係推論の両方を必要とするLongVideoBench上でHPPを検証し,この2つを反復的プログラム的探索によって分離することで,かなりの利得が得られることを示す。
EgoSchema, VideoMME, MLVUのさらなる成果は, 様々な長ビデオベンチマークにおけるアプローチの有効性を示している。
関連論文リスト
- TV-RAG: A Temporal-aware and Semantic Entropy-Weighted Framework for Long Video Retrieval and Understanding [14.570869250170139]
TV-RAGは、時間的アライメントとエントロピー誘導のセマンティクスを結合して、長時間ビデオの推論を改善する、トレーニング不要のアーキテクチャである。
これらの時間的および意味的な信号を織り合わせることで、TV-RAGは、再トレーニングや微調整なしに任意のLVLMに移植できる二重レベルの推論ルーチンを実現する。
論文 参考訳（メタデータ） (2025-12-29T14:10:22Z) - Video-QTR: Query-Driven Temporal Reasoning Framework for Lightweight Video Understanding [37.682165829414494]
Video-QTRは、クエリ誘導推論プロセスとしてビデオ理解を再定義する軽量フレームワークである。
ビデオQTRは,入力フレームの消費を最大73%削減し,最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-12-10T06:28:00Z) - Vgent: Graph-based Retrieval-Reasoning-Augmented Generation For Long Video Understanding [56.45689495743107]
Vgentは、長いビデオ理解のためにLVLMを強化するグラフベースの検索推論拡張生成フレームワークである。
我々は,3つの長ビデオ理解ベンチマークを用いて,様々なオープンソースLVLMを用いてフレームワークの評価を行った。
論文 参考訳（メタデータ） (2025-10-15T19:14:58Z) - Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding [33.58579390725519]
Video-MTRは、反復的なキーセグメントの選択と質問理解を可能にするために設計された強化されたマルチターン推論フレームワークである。
単一のターンで予測を生成する従来のビデオ推論パイプラインとは異なり、Video-MTRは複数のターンで推論を実行する。
中間推論プロセスを保証するため,新たな二段階報酬システムを導入する。
論文 参考訳（メタデータ） (2025-08-28T06:55:08Z) - TSPO: Temporal Sampling Policy Optimization for Long-form Video Language Understanding [25.675553077419274]
MLLM(Multimodal Language Models)は、視覚タスクにおいて大きな進歩を見せている。
本稿では、MLLMの長文ビデオ言語理解を強化学習により促進する時間サンプリングポリシー最適化(TSPO)を提案する。
我々のTSPOは、複数の長いビデオ理解ベンチマークにまたがって最先端のビデオMLLM間での転送能力を示す。
論文 参考訳（メタデータ） (2025-08-06T12:03:36Z) - STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。
我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文 参考訳（メタデータ） (2025-03-06T06:17:38Z) - SALOVA: Segment-Augmented Long Video Assistant for Targeted Retrieval and Routing in Long-Form Video Analysis [52.050036778325094]
本稿では,SALOVA: Segment-Augmented Video Assistantを紹介する。
87.8Kビデオの高品質なコレクションをセグメントレベルで高密度にキャプションし、シーンの連続性を捕捉し、リッチなコンテキストを維持する。
本フレームワークは,クエリに応答して,関連ビデオセグメントの正確な識別と検索を可能にすることで,現在のビデオLMMの限界を緩和する。
論文 参考訳（メタデータ） (2024-11-25T08:04:47Z) - Investigating Video Reasoning Capability of Large Language Models with Tropes in Movies [69.28082193942991]
本稿では、これまで見過ごされていた2つの重要なビデオ推論スキルを探索するためのテストベッドとして設計された、新しいデータセットであるTropes in Movies (TiM)を紹介する。
映画ストーリーテリングのトポロジを利用して、TiMは最先端のLCMベースのアプローチの推論能力を評価する。
これらの欠陥に対処するために、FEVoRI(Face-Enhanced Viper of Role Interactions)とConQueR(Context Query Reduction)を提案する。
論文 参考訳（メタデータ） (2024-06-16T12:58:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。