論文の概要: Light-Omni: Reflex over Reasoning in Agentic Video Understanding with Long-Term Memory
- arxiv url: http://arxiv.org/abs/2607.05511v1
- Date: Mon, 06 Jul 2026 18:00:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.294389
- Title: Light-Omni: Reflex over Reasoning in Agentic Video Understanding with Long-Term Memory
- Title（参考訳）: Light-Omni: 長期記憶を用いたエージェントビデオ理解における推論に対する反射
- Abstract要約: 本稿では,反射的かつ軽量な映像理解のためのマルチモーダルエージェントフレームワークLight-Omniを紹介する。
これは2つのコンテキスト状態を通じて実現され、必要なコンテキストを1つのフォワードパスで即座に構築する。
実験では、平均2.4%の精度向上、12.1$times$ Speedup、2.6$times$ GPUメモリ効率の向上でM3-Agentを上回っている。
- 参考スコア（独自算出の注目度）: 43.2606051811564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agentic video understanding equips models with long-term memory to autonomously process and respond to continuous, long-horizon multimodal streams. However, advanced video agents often rely on ``detective-style'' iterative reasoning for action control (e.g., $\mathtt{search}$) and evidence aggregation, incurring prohibitive costs and latency. We argue that such heavy reasoning primarily compensates for the lack of global context and semantic misalignment in retrieval. This paper introduces Light-Omni, a multimodal agent framework for reflexive and lightweight video understanding. It achieves this through dual contextual states that instantly build the required context in a single forward pass. First, we maintain a global state, a finite-sized multimodal script continuously consolidated from episodic memory, serving as the global context for Light-Omni. Through hierarchical merging, it preserves recent details while summarizing past events. Second, conditioned on this global context, we generate a parametric latent state that directly drives autonomous actions and produces retrieval embeddings, with minimal latency. Benefiting from this coupled design, Light-Omni achieves semantically aligned retrieval and reflexive responses while avoiding iterative reasoning. Extensive experiments validate the effectiveness of Light-Omni across multiple video benchmarks. Notably, it outperforms M3-Agent with an average 2.4% accuracy gain, a 12.1$\times$ speedup, and a 2.6$\times$ improvement in GPU memory efficiency. Furthermore, it serves as a memory system to enhance both the performance and efficiency of existing MLLMs. Project page: https://clare-nie.github.io/Light-Omni.
- Abstract（参考訳）: エージェントビデオ理解は、長期記憶を持つモデルを用いて、自律的に処理し、連続的、長期のマルチモーダルストリームに応答する。
しかし、高度なビデオエージェントは、しばしば、アクション制御(例えば$\mathtt{search}$)とエビデンスアグリゲーションのための反復的推論を 'detective-style'' に頼り、禁忌のコストと遅延を引き起こす。
このような重大推論は、大域的な文脈の欠如と、検索における意味的ミスアライメントの欠如を主な原因としている。
本稿では,反射的かつ軽量な映像理解のためのマルチモーダルエージェントフレームワークLight-Omniを紹介する。
これは2つのコンテキスト状態を通じて実現され、必要なコンテキストを1つのフォワードパスで即座に構築する。
まず,有限サイズのマルチモーダルスクリプトをエピソードメモリから連続的に統合したグローバルな状態を維持し,Light-Omniのグローバルなコンテキストとして機能する。
階層的な統合を通じて、過去の出来事を要約しながら、最近の詳細を保存している。
第2に,このグローバルコンテキストを条件として,自律的な動作を直接実行し,最小レイテンシで検索埋め込みを生成するパラメトリック潜時状態を生成する。
この組み合わせ設計により、Light-Omniは反復的推論を回避しつつ、意味的に整合した検索と反射応答を達成する。
大規模な実験は、複数のビデオベンチマークでLight-Omniの有効性を検証する。
特に、平均2.4%の精度向上、12.1$\times$スピードアップ、2.6$\times$GPUメモリ効率の向上でM3-Agentを上回っている。
さらに、既存のMLLMの性能と効率を向上させるためのメモリシステムとして機能する。
プロジェクトページ: https://clare-nie.github.io/Light-Omni.com
関連論文リスト
- Zero-Mem: Zero-Token Memory Operations for LLM Agents [17.228305588778]
Zero-Memは、元の相互作用トレースをレコードのソースとして保存する。
Zero-Memは、長期メモリと長期コンテキストの問合せベンチマークで競合するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-31T13:01:06Z) - Progressive Online Video Understanding with Evidence-Aligned Timing and Transparent Decisions [75.23170605943457]
textbfmodelは、メモリ統合から推論制御を分離するフレームワークである。
emphActive Thinking Decision Maker (ATDM)は、決定プロセスの外部化を行う透明な推論コントローラである。
emphHierarchical Progressive Semantic Integration (HPSI)モジュールは効率的なメモリシステムとして機能する。
論文 参考訳（メタデータ） (2026-04-20T16:15:33Z) - SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。
本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。
ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2026-01-05T21:02:49Z) - Enabling Disaggregated Multi-Stage MLLM Inference via GPU-Internal Scheduling and Resource Sharing [16.063514680699576]
MLLM(Multimodal large language model)は、3段階のパイプラインを通して視覚的理解を拡張する。
マルチモーダル前処理、特にビデオデコードがタイム・ツー・ファースト・トーケン(TTFT)を支配している
我々は、エンドツーエンドのMLLMパイプラインを共同で最適化する2つの補完設計であるFlashCodecとUnifiedServeを紹介する。
論文 参考訳（メタデータ） (2025-12-19T13:40:13Z) - StreamingAssistant: Efficient Visual Token Pruning for Accelerating Online Video Understanding [29.539015046656615]
重要な情報を保持しつつコンテキスト長を削減する手段としてトークンプルーニングを提案する。
具体的には、空間隣接ビデオトークン(MSSAVT)に対する最大類似性という新しい冗長度指標を導入する。
マスク付きプルーニング戦略も設計し、互いに不適切なトークンがプルーニングされることを保証します。
論文 参考訳（メタデータ） (2025-12-14T05:35:11Z) - WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。
WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2025-12-02T05:14:52Z) - GCAgent: Long-Video Understanding via Schematic and Narrative Episodic Memory [59.869552603264076]
GCAgent(Global-Context-Aware Agent)は,広義の長ビデオ理解を実現する新しいフレームワークである。
これは、イベントとその因果関係と時間的関係を、簡潔で組織化されたコンテキストに構造的にモデル化するものです。
実験により、GCAgentは、強力なMLLMベースライン上でのVideo-MME Long分割において、最大23.5%の精度向上を実現した。
論文 参考訳（メタデータ） (2025-11-15T04:29:00Z) - Free-MoRef: Instantly Multiplexing Context Perception Capabilities of Video-MLLMs within Single Inference [88.57742986765238]
Free-MoRefは、ビデオMLLMのコンテキスト認識能力を多重化するトレーニング不要のアプローチである。
実験によると、Free-MoRefは1つのA100 GPUで圧縮することなく、2$times$から8$times$の入力フレームを完全に認識できる。
論文 参考訳（メタデータ） (2025-08-04T07:31:10Z) - STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。
我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文 参考訳（メタデータ） (2025-03-06T06:17:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。