論文の概要: Sprout: Building Dynamic Memory While Reasoning for Agentic Video Understanding
- arxiv url: http://arxiv.org/abs/2609.35497v1
- Date: Mon, 28 Sep 2026 16:01:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 21:21:09.964325
- Title: Sprout: Building Dynamic Memory While Reasoning for Agentic Video Understanding
- Title（参考訳）: Sprout: エージェントビデオ理解のための推論中に動的メモリを構築する
- Abstract要約: 長いビデオ理解は、マルチモーダルな大言語モデルのコンテキスト制限を克服するために、ビデオメモリに依存している。
既存のメソッドはビルドテーマ推論パイプラインに従っている: メモリはビデオ全体に対してオフラインで構築され、静的ソースとして推論される。
Sproutは、推論中にメモリを構築するエージェントフレームワークであり、質問に答えると詳細なノードが芽生えるテンポラリなツリーである。
- 参考スコア（独自算出の注目度）: 20.212135389736456
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long video understanding relies on video memory to overcome the context limits of multimodal large language models. Existing methods follow a build-then-reasoning pipeline: memory is built offline for the entire video, then reasoned over as a static source. In practice a long video is shared by several questions, and this pipeline is costly at both ends: with few questions, building memory for the whole video costs far more than answering them; with many questions, the memory is never updated, so what is learned while answering questions is lost to the next question. To alleviate these, we introduce Sprout, an agentic framework that builds memory while reasoning: a temporal tree that sprouts detailed nodes as questions are answered. The agent watches the video segment by segment at a low frame rate, stopping when the current question can be answered, remembers each segment as a coarse node of the tree, and revisits key intervals at a higher frame rate to refine the tree with the recovered details. Once a segment is recorded as text, its video input is removed from the context history, while the original video remains reachable through the video tools. The memory tree and prior question--answer records persist across questions, so the memory is online and dynamic: built from the first question onward and updated by every question thereafter. We find that replacing accumulated video inputs with textual memory substantially reduces context usage while maintaining accuracy, with slight improvements in some settings. Across benchmarks on three models, Sprout achieves competitive or improved accuracy relative to representative offline memory methods, with no upfront construction stage and lower context cost per question.
- Abstract（参考訳）: 長いビデオ理解は、マルチモーダルな大言語モデルのコンテキスト制限を克服するために、ビデオメモリに依存している。
既存のメソッドはビルドテーマ推論パイプラインに従っている: メモリはビデオ全体に対してオフラインで構築され、静的ソースとして推論される。
実際、長いビデオはいくつかの質問で共有され、このパイプラインは両端でコストがかかる: 少数の質問では、ビデオ全体のメモリを構築することは、答えるよりもはるかにコストがかかる; 多くの質問では、メモリは更新されないので、質問に答えながら何を学ぶかが次の質問に失われる。
これらを緩和するために、我々は、推論しながらメモリを構築するエージェントフレームワークであるSproutを紹介した。
エージェントは、ビデオセグメントを低フレームレートで観察し、現在の質問に答えられる場合に停止し、各セグメントを木の粗いノードとして記憶し、より高いフレームレートでキー間隔を見直し、復元された詳細でツリーを洗練させる。
セグメントをテキストとして記録すると、そのビデオ入力はコンテキスト履歴から削除され、元のビデオはビデオツールを介して到達可能である。
メモリツリーと以前の質問-回答レコードは質問にまたがって持続するので、メモリはオンラインで動的で、最初の質問から構築され、その後すべての質問によって更新される。
蓄積したビデオ入力をテキストメモリに置き換えることで、精度を維持しながらコンテキスト使用量を大幅に削減し、一部の設定ではわずかに改善されていることがわかった。
3つのモデルのベンチマークで、Sproutは一般的なオフラインメモリ手法と比較して、事前構築段階がなく、コンテキストコストも低く、競争力や精度の向上を実現している。
関連論文リスト
- Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning [77.7531245219403]
textscHomerは階層型オンラインメモリ探索および推論フレームワークである。
textscHomerの記憶は、生の知覚から繰り返される実体、明示的な時間的・因果関係と結びついた出来事まで、長いビデオのマルチスケール構造を反映している。
textscHomerは、M3-Bench-robot、M3-Bench-web、Video-MME-Longで$+5.5$、$+10.8$、$+4.4$ポイントで前のベストエージェントメソッドより優れている。
論文 参考訳（メタデータ） (2026-07-01T05:53:09Z) - Question-guided Visual Compression with Memory Feedback for Long-Term Video Understanding [16.406614655485722]
本稿では,長期的ビデオ理解のためのフレームワークであるQViC-MF(QViC-MF)を提案する。
コアとなるQMSAは、現在のクリップと過去の関連フレームの両方から与えられた質問に関連する視覚情報をメモリから保存することを学ぶ。
MLVU試験では6.1%,LVBenchでは8.3%,VNBench Longでは18.3%,VideoMME Longでは3.7%,最先端手法では6.1%の大幅な改善を実現している。
論文 参考訳（メタデータ） (2026-03-16T12:01:58Z) - WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。
WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2025-12-02T05:14:52Z) - VideoLucy: Deep Memory Backtracking for Long Video Understanding [102.37736560263649]
我々は、長いビデオ理解のためのディープメモリバックトラックフレームワークであるVideoLucyを提案する。
粗いものから細かいものへの人間の再コンパイルプロセスにインスパイアされたVideoLucyは、階層的なメモリ構造で、段階的に粒度が細かい。
VideoLucyは、複数の長いビデオ理解ベンチマークで最先端の手法を著しく上回っている。
論文 参考訳（メタデータ） (2025-10-14T11:59:19Z) - Mixture of Contexts for Long Video Generation [72.96361488755986]
我々は長文ビデオ生成を内部情報検索タスクとして再放送する。
本稿では,学習可能なスパークアテンション・ルーティング・モジュールであるMixture of Contexts (MoC) を提案する。
データをスケールしてルーティングを徐々に分散させていくと、そのモデルは計算を適切な履歴に割り当て、アイデンティティ、アクション、シーンを数分のコンテンツで保存する。
論文 参考訳（メタデータ） (2025-08-28T17:57:55Z) - ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。
本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。
本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
論文 参考訳（メタデータ） (2024-11-23T13:23:22Z) - Streaming Long Video Understanding with Large Language Models [83.11094441893435]
VideoStreamingは、ビデオ理解のための高度な視覚言語大モデル(VLLM)である。
一定の数のビデオストリーミングトークンを符号化し、伝播的に選択した任意の長さのビデオを理解することができる。
提案モデルは,長大なビデオベンチマークにおいて,優れた性能と高効率を実現する。
論文 参考訳（メタデータ） (2024-05-25T02:22:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。