論文の概要: EMMA: Event-Driven Multimodal Memory System with Multi-Agent Retrieval
- arxiv url: http://arxiv.org/abs/2610.23892v1
- Date: Mon, 28 Sep 2026 11:16:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:51:40.16646
- Title: EMMA: Event-Driven Multimodal Memory System with Multi-Agent Retrieval
- Title（参考訳）: EMMA:マルチエージェント検索によるイベント駆動型マルチモーダルメモリシステム
- Abstract要約: イベント駆動型マルチモーダルメモリシステムEMMAを提案する。
EMMAはセマンティックイベントの周囲の記憶を3段階にまとめる。
- 参考スコア（独自算出の注目度）: 9.159260085579923
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Long video understanding requires reasoning over hours of content that far exceed the context window of multimodal large language models (MLLMs). Existing approaches compress video into fixed-length clips, yet events are fragmented and unrelated content is merged, yielding noisy retrieval. To overcome this challenge, we propose EMMA, an Event-driven Multimodal Memory system with Multi-Agent retrieval, which organizes memory around semantic events in three stages: (1) Event segmentation: a dual-stream detector adaptively locates event boundaries by fusing visual semantic drift with spoken transitions, rather than fixed windows. (2) Memory construction: built on the detected events, a three-level hierarchy of raw video, clip-level memory, and event-level memory stores content at progressively higher semantic abstraction. (3) Memory retrieval: a multi-agent framework collaboratively queries this hierarchy through query decomposition, tiered search, evidence validation, and answer generation, narrowing evidence from coarse events to precise clips. Extensive experiments on three challenging benchmarks demonstrate substantial improvements, showing the effectiveness of our event-aligned memory system. Code, prompt templates, and reproduction scripts are available at https://github.com/BAI-LAB/EMMA.
- Abstract（参考訳）: 長いビデオ理解には、MLLM(Multimodal large language model)のコンテキストウインドウをはるかに超えた、何時間ものコンテンツを推論する必要がある。
既存のアプローチでは、動画を固定長のクリップに圧縮するが、イベントは断片化され、関連のないコンテンツはマージされ、ノイズの多い検索が得られる。
イベントセグメンテーション: イベントセグメンテーション: 固定窓ではなく、視覚的セマンティックドリフトと音声的遷移を融合させることにより、イベント境界を適応的に検出する。
2) メモリ構成: 検出されたイベント、生のビデオの3レベル階層、クリップレベルのメモリ、およびイベントレベルのメモリは、コンテントを徐々に高いセマンティック抽象化で保存する。
(3) メモリ検索: クエリの分解、階層検索、エビデンス検証、回答生成を通じて、この階層を協調的にクエリするマルチエージェントフレームワークで、粗いイベントから正確なクリップまで、証拠を絞り込む。
3つの挑戦的なベンチマークに関する大規模な実験では、イベント整合性メモリシステムの有効性が示され、大幅な改善が示された。
コード、プロンプトテンプレート、再生スクリプトはhttps://github.com/BAI-LAB/EMMAで入手できる。
関連論文リスト
- VideoTapestry: Query-Adaptive Memory Refinement for Multi-Agent Long-Video Understanding [98.11639588256874]
VideoTapestryはトレーニング不要のマルチエージェントフレームワークで、粗大でクエリ駆動の洗練を通じて階層的なビデオメモリに適応する。
VideoTapestryの精度は17.2%、14.9%、9.8%、Benchは7.0%、LongVideoBench(Long Ego)、Video-MME(Long Ego)、Video-MME(Long Ego)である。
論文 参考訳（メタデータ） (2026-10-05T16:44:25Z) - Beyond Memory Construction: Rethinking Memory Access for LLM-based Conversational Agents [15.388928886536716]
Threaderは、メモリ構築から、生のインタラクションに対する効率的な構造認識アクセスへと焦点を移すメモリシステムである。
応答精度とエビデンスリコールを継続的に改善し、メモリ構築オーバーヘッドを大幅に削減する。
論文 参考訳（メタデータ） (2026-09-27T05:07:21Z) - EM^2Mem: Event-Centric Multimodal Memory for Large Language Models [52.3165591032625]
本稿では,イベント中心型マルチモーダルメモリフレームワークEM2Memを提案する。
3つの長ビデオQAベンチマークで、EM2Memは最強のメモリベースラインの平均精度を2.0、2.4、および3.7ポイント改善した。
論文 参考訳（メタデータ） (2026-09-01T01:38:41Z) - Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning [77.7531245219403]
textscHomerは階層型オンラインメモリ探索および推論フレームワークである。
textscHomerの記憶は、生の知覚から繰り返される実体、明示的な時間的・因果関係と結びついた出来事まで、長いビデオのマルチスケール構造を反映している。
textscHomerは、M3-Bench-robot、M3-Bench-web、Video-MME-Longで$+5.5$、$+10.8$、$+4.4$ポイントで前のベストエージェントメソッドより優れている。
論文 参考訳（メタデータ） (2026-07-01T05:53:09Z) - EventMemAgent: Hierarchical Event-Centric Memory for Online Video Understanding with Adaptive Tool Use [9.106278853322008]
EventMemAgentは階層型メモリモジュールに基づくアクティブなオンラインビデオエージェントフレームワークである。
短期記憶はイベント境界を検知し、イベントグラニュラー貯水池サンプリングを用いてストリーミングビデオフレームを処理する。
実験によると、EventMemAgentはオンラインビデオのベンチマークで競合する結果を内部化している。
論文 参考訳（メタデータ） (2026-02-17T03:17:24Z) - See More, Store Less: Memory-Efficient Resolution for Video Moment Retrieval [5.835635134105812]
本稿では,高情報解像度を維持しながらメモリ効率を向上させるフレームワークであるSMORE(See MORE, store less)を提案する。
SMORE (1) は,ユーザ意図に沿ったセマンティクスを符号化するためにクエリ誘導キャプションを使用し,(2) 関連するセグメントをハイライトするためにクエリ認識の重要度変調を適用し,(3) キーコンテンツを保存するためにフレームを適応的に圧縮する。
実験的検証により、SMOREはQVHighlights、Charades-STA、ActivityNet-Captionsベンチマークで最先端のパフォーマンスを達成することが明らかになった。
論文 参考訳（メタデータ） (2026-01-14T10:28:11Z) - Mem-Gallery: Benchmarking Multimodal Long-Term Conversational Memory for MLLM Agents [76.76004970226485]
長期記憶はマルチモーダル大言語モデル(MLLM)エージェントにとって重要な機能である。
Mem-GalleryはMLLMエージェントのマルチモーダル長期会話メモリ評価のための新しいベンチマークである。
論文 参考訳（メタデータ） (2026-01-07T02:03:13Z) - WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。
WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2025-12-02T05:14:52Z) - Grounding Partially-Defined Events in Multimodal Data [61.0063273919745]
部分定義イベントに対するマルチモーダル定式化を導入し、これらのイベントの抽出を3段階スパン検索タスクとしてキャストする。
このタスクのベンチマークであるMultiVENT-Gを提案し,22.8Kのラベル付きイベント中心エンティティを含む,14.5時間の高密度アノテーション付き現在のイベントビデオと1,168のテキストドキュメントからなる。
結果は、イベント理解の抽象的な課題を示し、イベント中心のビデオ言語システムにおける約束を実証する。
論文 参考訳（メタデータ） (2024-10-07T17:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。