論文の概要: GOPAgen: Motion-Aware and Efficient Agentic Long-Video Understanding with Structural Memory and Hierarchical Reasoning
- arxiv url: http://arxiv.org/abs/2606.06532v1
- Date: Wed, 03 Jun 2026 17:47:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-08 14:33:29.348396
- Title: GOPAgen: Motion-Aware and Efficient Agentic Long-Video Understanding with Structural Memory and Hierarchical Reasoning
- Title（参考訳）: GOPAgen: 構造記憶と階層的推論による動作認識と効果的なエージェント・ロングビデオ理解
- Authors: Haozhe Chi, Yang Jin, Yadong Mu,
- Abstract要約: GOPAgenは、ビデオからグループ・オブ・ピクチャーズ(GOP)で訓練されたモーションエージェントを通じて、ビデオ理解フレームワークにビデオを統合する新しいアプローチである。
GOP木推論アルゴリズムを開発し、ビデオと自然に一致し、ビデオ内の局所的な詳細な動きを理解する能力を高める。
動きベクトルデータベースをフレームワークに組み込んで、異なる粒度の動きを効率的に検索する。
- 参考スコア（独自算出の注目度）: 52.95229765182726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite significant progress in agentic long video understanding, existing methods still lack detailed motion comprehension coupled with an efficient memory architecture. In this paper, we propose GOPAgen, a novel approach that first integrates video codec into the video understanding framework via a meticulously designed motion agent trained on Groups of Pictures (GOPs) from video codec. We further develop a GOP tree reasoning algorithm, which is naturally aligned with video codec and enhances the model's ability to understand local detailed motions in videos. Additionally, we carefully design a structural memory mechanism that integrates local motion information with detailed captions in structural pages, and propose an efficient coarse-to-fine zoom-in algorithm to fully exploit the structural memory. Furthermore, we incorporate a motion vector database into the framework to enable efficient retrieval of motion vectors at different granularities. Overall, our method achieves superior Video Question Answering (VQA) performance on various video understanding benchmarks, including MotionBench and Egoschema, thereby demonstrating the superiority of our proposed framework.
- Abstract（参考訳）: エージェントによる長いビデオ理解の進歩にもかかわらず、既存の手法では、効率的なメモリアーキテクチャと組み合わされた詳細な動きの理解が欠けている。
本稿では,ビデオコーデックからグループ・オブ・ピクチャーズ(GOP)を訓練した巧妙な動作エージェントを用いて,まずビデオコーデックを映像理解フレームワークに統合する手法であるGOPAgenを提案する。
さらに,ビデオコーデックと自然に一致したGOPツリー推論アルゴリズムを開発し,映像中の局所的な詳細動作を理解する能力を向上させる。
さらに,局所的な動き情報と詳細なキャプションを構造化ページに統合する構造記憶機構を慎重に設計し,その構造記憶を完全に活用するための効率的な粗いズームインアルゴリズムを提案する。
さらに、運動ベクトルデータベースをフレームワークに組み込んで、異なる粒度の運動ベクトルの効率的な検索を可能にする。
提案手法は,MotionBench や Egoschema など,様々なビデオ理解ベンチマークにおいて,VQA (Video Question Answering) の性能を向上し,提案手法の優位性を実証する。
関連論文リスト
- Dual Learning with Dynamic Knowledge Distillation and Soft Alignment for Partially Relevant Video Retrieval [53.54695034420311]
実際には、ビデオは通常、より複雑な背景コンテンツによって、長い時間で切り離される。
本稿では,大規模視覚言語事前学習モデルから一般化知識を抽出する新しい枠組みを提案する。
実験により,本モデルがTVR,ActivityNet,Charades-STAデータセット上での最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2025-10-14T08:38:20Z) - AdaVideoRAG: Omni-Contextual Adaptive Retrieval-Augmented Efficient Long Video Understanding [73.60257070465377]
AdaVideoRAGは、軽量なインテント分類器を使用して、クエリ複雑性に基づいた検索に適応する新しいフレームワークである。
我々のフレームワークは、Omni-Knowledge Indexingモジュールを使用して、テキスト(キャプション、ASR、OCR)、視覚的特徴、セマンティックグラフから階層データベースを構築する。
実験では、既存のMLLMにシームレスに統合することで、長時間ビデオ理解のための効率と精度の向上が示されている。
論文 参考訳（メタデータ） (2025-06-16T15:18:15Z) - Enhancing Self-Supervised Fine-Grained Video Object Tracking with Dynamic Memory Prediction [5.372301053935416]
本稿では,複数の参照フレームを用いた動的メモリ予測フレームワークを提案する。
提案アルゴリズムは,2つの細粒度ビデオオブジェクト追跡タスクにおいて,最先端の自己教師技術より優れる。
論文 参考訳（メタデータ） (2025-04-30T14:29:04Z) - Scoring, Remember, and Reference: Catching Camouflaged Objects in Videos [24.03405963900272]
Video Camouflaged Object Detectionは、外見が周囲によく似ているオブジェクトを分割することを目的としている。
既存の視覚モデルは、カモフラージュされた物体の識別不可能な外観のために、このようなシナリオでしばしば苦労する。
人間の記憶認識にインスパイアされたエンドツーエンドのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-21T11:08:14Z) - VideoLLaMB: Long Streaming Video Understanding with Recurrent Memory Bridges [39.666361965650836]
VideoLLaMBは、長いビデオ理解のためのフレームワークである。
SceneTilingアルゴリズムは、ビデオをコヒーレントなセマンティックユニットに分割する。
VideoLLaMBは1つのNvidia A100 GPUを使用して最大320フレームを処理する。
論文 参考訳（メタデータ） (2024-09-02T08:52:58Z) - VideoGPT+: Integrating Image and Video Encoders for Enhanced Video Understanding [15.959757105308238]
ビデオLMMは、視覚入力を処理するために、画像エンコーダまたはビデオエンコーダに依存しており、それぞれに独自の制限がある。
本稿では,映像エンコーダと映像エンコーダの相補的利点(大域的時間文脈モデリング)を組み合わせたビデオGPT+を紹介する。
本稿では,VCGBench,MVBench,Zero-shotなど,複数のビデオベンチマークのパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2024-06-13T17:59:59Z) - HENASY: Learning to Assemble Scene-Entities for Egocentric Video-Language Model [9.762722976833581]
現在のモデルは、ビデオと言語間のインスタンスレベルのアライメントに大きく依存している。
我々は、人間の知覚からインスピレーションを得て、エゴビデオ表現のための構成的アプローチを探求する。
論文 参考訳（メタデータ） (2024-06-01T05:41:12Z) - Hierarchical Graph Pattern Understanding for Zero-Shot VOS [102.21052200245457]
本稿では、ゼロショットビデオオブジェクトセグメンテーション(ZS-VOS)のための新しい階層型グラフニューラルネットワーク(GNN)アーキテクチャを提案する。
構造的関係を捕捉するGNNの強い能力にインスパイアされたHGPUは、運動キュー(すなわち光の流れ)を革新的に活用し、ターゲットフレームの隣人からの高次表現を強化する。
論文 参考訳（メタデータ） (2023-12-15T04:13:21Z) - VRAG: Region Attention Graphs for Content-Based Video Retrieval [85.54923500208041]
Region Attention Graph Networks (VRAG) は最先端のビデオレベルの手法を改善している。
VRAGは、地域レベルの特徴を通して、より細かい粒度のビデオを表現し、地域レベルの関係を通して、ビデオ時間ダイナミクスをエンコードする。
本研究では,映像のセグメント化や映像検索にショット埋め込みを用いることで,映像レベルとフレームレベルの性能差を低減できることを示す。
論文 参考訳（メタデータ） (2022-05-18T16:50:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。