論文の概要: EventMemAgent: Hierarchical Event-Centric Memory for Online Video Understanding with Adaptive Tool Use

• arxiv url: http://arxiv.org/abs/2602.15329v1
• Date: Tue, 17 Feb 2026 03:17:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 16:03:17.969451
• Title: EventMemAgent: Hierarchical Event-Centric Memory for Online Video Understanding with Adaptive Tool Use
• Title（参考訳）: EventMemAgent: 適応ツールを使ったオンラインビデオ理解のための階層型イベント中心メモリ
• Authors: Siwei Wen, Zhangcheng Wang, Xingjian Zhang, Lei Huang, Wenjun Wu,
• Abstract要約: EventMemAgentは階層型メモリモジュールに基づくアクティブなオンラインビデオエージェントフレームワークである。 短期記憶はイベント境界を検知し、イベントグラニュラー貯水池サンプリングを用いてストリーミングビデオフレームを処理する。 実験によると、EventMemAgentはオンラインビデオのベンチマークで競合する結果を内部化している。
• 参考スコア（独自算出の注目度）: 9.106278853322008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online video understanding requires models to perform continuous perception and long-range reasoning within potentially infinite visual streams. Its fundamental challenge lies in the conflict between the unbounded nature of streaming media input and the limited context window of Multimodal Large Language Models (MLLMs). Current methods primarily rely on passive processing, which often face a trade-off between maintaining long-range context and capturing the fine-grained details necessary for complex tasks. To address this, we introduce EventMemAgent, an active online video agent framework based on a hierarchical memory module. Our framework employs a dual-layer strategy for online videos: short-term memory detects event boundaries and utilizes event-granular reservoir sampling to process streaming video frames within a fixed-length buffer dynamically; long-term memory structuredly archives past observations on an event-by-event basis. Furthermore, we integrate a multi-granular perception toolkit for active, iterative evidence capture and employ Agentic Reinforcement Learning (Agentic RL) to end-to-end internalize reasoning and tool-use strategies into the agent's intrinsic capabilities. Experiments show that EventMemAgent achieves competitive results on online video benchmarks. The code will be released here: https://github.com/lingcco/EventMemAgent.
• Abstract（参考訳）: オンラインビデオ理解は、潜在的に無限の視覚ストリーム内で連続的な知覚と長距離推論を行うモデルを必要とする。 その根本的な課題は、ストリーミングメディア入力の非有界性とマルチモーダル大言語モデル(MLLM)の限られたコンテキストウィンドウとの衝突にある。 現在の手法は主に受動的処理に依存しており、長い範囲のコンテキストを維持することと、複雑なタスクに必要な細かい詳細を捉えることの間のトレードオフに直面していることが多い。 そこで我々は,階層型メモリモジュールに基づくアクティブなオンラインビデオエージェントフレームワークであるEventMemAgentを紹介する。 短期記憶はイベント境界を検出し、イベントグラニュラー貯水池サンプリングを用いて、固定長バッファ内のストリーミングビデオフレームを動的に処理し、長期記憶はイベントバイイベントベースで過去の観測を構造化する。 さらに,エージェントの本質的な能力に対して,エージェント強化学習(Agentic Reinforcement Learning, エージェントRL)をエンド・ツー・エンドの内在化推論とツール利用戦略に活用する。 実験によると、EventMemAgentはオンラインビデオのベンチマークで競合する結果が得られる。 コードは、https://github.com/lingcco/EventMemAgent.com/でリリースされる。

関連論文リスト

• LongVideoAgent: Multi-Agent Reasoning with Long Videos [69.28914905197426]
  本稿では,主LLMが問題関連セグメントの局所化のために接地エージェントをコーディネートするマルチエージェントフレームワークと,対象とするテキスト観察を抽出する視覚エージェントを提案する。 マスターエージェントは、ステップ制限で計画し、簡潔で正確で効率的なマルチエージェント協調を促進するために強化学習で訓練されている。 テレビQA/TVQA+から集約したエピソードレベルのデータセットであるLongTVQAとLongTVQA+では,マルチエージェントシステムは強力な非エージェントベースラインよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-12-23T18:59:49Z)
• WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
  我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。 WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-12-02T05:14:52Z)
• GCAgent: Long-Video Understanding via Schematic and Narrative Episodic Memory [59.869552603264076]
  GCAgent(Global-Context-Aware Agent)は,広義の長ビデオ理解を実現する新しいフレームワークである。 これは、イベントとその因果関係と時間的関係を、簡潔で組織化されたコンテキストに構造的にモデル化するものです。 実験により、GCAgentは、強力なMLLMベースライン上でのVideo-MME Long分割において、最大23.5%の精度向上を実現した。
  論文  参考訳（メタデータ） (2025-11-15T04:29:00Z)
• Mixture of Contexts for Long Video Generation [72.96361488755986]
  我々は長文ビデオ生成を内部情報検索タスクとして再放送する。 本稿では,学習可能なスパークアテンション・ルーティング・モジュールであるMixture of Contexts (MoC) を提案する。 データをスケールしてルーティングを徐々に分散させていくと、そのモデルは計算を適切な履歴に割り当て、アイデンティティ、アクション、シーンを数分のコンテンツで保存する。
  論文  参考訳（メタデータ） (2025-08-28T17:57:55Z)
• LET-US: Long Event-Text Understanding of Scenes [23.376693904132786]
  イベントカメラは、マイクロ秒レベルの時間分解能を備えたスパースで非同期なデータとしてイベントストリームを出力する。 長いイベントストリーム・テキスト理解のためのフレームワークであるLET-USを紹介する。 適応圧縮機構を用いて、重要な視覚的詳細を保存しながら入力イベントの量を削減する。
  論文  参考訳（メタデータ） (2025-08-10T16:02:41Z)
• StreamAgent: Towards Anticipatory Agents for Streaming Video Understanding [52.55809460075286]
  本稿では,今後のタスク関連情報を含むと思われる時間間隔と空間領域を予測できるStreamAgentを提案する。 我々は,重要な出来事の時間的進行を予測するために,予測エージェントに期待を促すことによって,質問の意味論と歴史的観察を統合する。 提案手法は,応答精度とリアルタイム効率において既存の手法よりも優れており,実世界のストリーミングシナリオの実用的価値を強調している。
  論文  参考訳（メタデータ） (2025-08-03T18:15:42Z)
• HierarQ: Task-Aware Hierarchical Q-Former for Enhanced Video Understanding [14.464718780172582]
  タスク対応の階層型Q-FormerベースのフレームワークであるHierarQを導入する。 ビデオ理解にタスク認識を組み込むために,軽量な2ストリーム言語誘導機能変調器を導入する。 ビデオ理解、質問応答、キャプションタスクにわたる10の動画ベンチマークの大規模な評価は、HierarQの最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-03-11T16:21:23Z)
• InternLM-XComposer2.5-OmniLive: A Comprehensive Multimodal System for Long-term Streaming Video and Audio Interactions [104.90258030688256]
  本研究は,ストリーミング映像とオーディオ入力とのリアルタイムインタラクションを実現するために,非絡み合いのストリーミング知覚,推論,メモリ機構を導入している。 このプロジェクトは人間のような認知をシミュレートし、多モーダルな大規模言語モデルが時間とともに継続的かつ適応的なサービスを提供できるようにする。
  論文  参考訳（メタデータ） (2024-12-12T18:58:30Z)
• Local Compressed Video Stream Learning for Generic Event Boundary Detection [25.37983456118522]
  イベント境界検出は、ビデオをチャンクに分割する一般的な分類なしのイベント境界をローカライズすることを目的としている。 既存の方法は、通常、ネットワークに入力する前にビデオフレームをデコードする必要がある。 本稿では,圧縮領域におけるリッチな情報を活用する完全エンドツーエンドのイベント境界検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-27T06:49:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。