論文の概要: VideoEvolve: Co-Evolving Memory and Retrieval for Long Video Understanding
- arxiv url: http://arxiv.org/abs/2610.10183v1
- Date: Wed, 07 Oct 2026 14:51:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.978498
- Title: VideoEvolve: Co-Evolving Memory and Retrieval for Long Video Understanding
- Title(参考訳): VideoEvolve: 長いビデオ理解のための記憶と検索の共同開発
- Abstract要約: VideoEvolveは、長いビデオ理解のためのメモリと検索を共同で進化させる、新しい自己進化フレームワークである。
この進化を操縦するために、Bottleneck-Aware Evolution Feedbackは、現在のボトルネックがメモリや検索にあるかどうかを特定する。
Agentic RLとBEFとCEFを統合することで、VideoEvolveは下流の推論体験を転送可能な機能更新に変換する。
- 参考スコア(独自算出の注目度): 15.302225083670043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long video understanding increasingly relies on external memory to organize massive visual streams into compact representations. However, most memory-based methods dynamically adapt how information is retrieved for different questions, while largely fixing what is remembered. This mismatch makes missing details costly to recover, whereas stored information is valuable only when it can be reliably retrieved. To address this issue, we propose VideoEvolve, a novel self-evolving framework that jointly evolves memory and retrieval for long video understanding. Specifically, starting from a coarse low-frame-rate overview, VideoEvolve couples a Memory Evolver for selective memory augmentation with a Retrieval Evolver for adaptive retrieval over the evolving memory. We then co-evolve the two Evolvers through alternating agentic reinforcement learning (Agentic RL), updating one while freezing the other. To steer this alternating evolution, Bottleneck-Aware Evolution Feedback (BEF) identifies whether the current bottleneck lies in memory or retrieval and directs optimization toward the more limiting side. Furthermore, VideoEvolve introduces Capability-Aware Evolution Feedback (CEF) to alleviate downstream feedback from over-specializing memory to a fixed set of training questions, shifting training toward underdeveloped yet learnable video capabilities. By integrating Agentic RL with BEF and CEF, VideoEvolve transforms downstream reasoning experience into transferable capability updates, providing a concrete path from static long-video systems toward experience-driven, self-improving multimodal intelligence. Extensive experiments on multiple long video understanding benchmarks demonstrate the effectiveness of VideoEvolve.
- Abstract(参考訳): 長いビデオ理解は、巨大なビジュアルストリームをコンパクトな表現に整理するために、外部メモリに依存している。
しかし、ほとんどのメモリベースのメソッドは、異なる質問に対してどのように情報を検索するかを動的に適用する。
このミスマッチは、行方不明な詳細を回収するのにコストがかかるが、保存された情報は、確実に回収できる場合にのみ価値がある。
この問題に対処するために,長いビデオ理解のためのメモリと検索を共同で進化させる,新たな自己進化フレームワークであるVideoEvolveを提案する。
具体的には、粗い低フレームレートの概要から、VideoEvolveは、選択的メモリ拡張のためのMemory Evolverと、進化するメモリ上の適応検索のためのRetrieval Evolverを結合する。
次にエージェント強化学習(Agentic RL)を交互に行い,一方を凍結しながら更新する。
この交互進化を推し進めるために、Bottleneck-Aware Evolution Feedback (BEF)は、現在のボトルネックがメモリや検索にあるかどうかを特定し、より制限のある側に最適化を向ける。
さらに、VideoEvolveは、過剰特殊化メモリから一定のトレーニング質問への下流からのフィードバックを軽減するために、Capability-Aware Evolution Feedback (CEF)を導入した。
Agentic RLとBEFとCEFを統合することで、VideoEvolveは下流の推論体験を転送可能な機能更新に変換し、静的な長ビデオシステムからエクスペリエンス駆動の自己改善型マルチモーダルインテリジェンスへの具体的なパスを提供する。
複数の長いビデオ理解ベンチマークに関する大規模な実験は、VideoEvolveの有効性を実証している。
関連論文リスト
- ReMem: Streaming Video Understanding With Long Context Retention [3.0621466794767334]
ReMemは、Vision Language Modelsが任意の長さのストリーミングビデオを処理できるようにする、トレーニングなし適応技術である。
提案したReMemは、様々な広く使用されているベンチマークにおいて、最先端(SOTA)のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-10-05T07:56:41Z) - StreamEMS: Streaming Video Understanding with Self-Evolving Memory Scheme for Vision-Language Models [14.764143801328759]
本稿では,記憶に格納された履歴データを再構成することで,ストリーミングビデオ理解を改善するための一般的なメカニズムであるStreamEMSを提案する。
まずセマンティック・エボリューション・モジュールを導入し、メモリをより情報密度の表現に進化させる。
さらに、メモリをより堅牢な表現に進化させるために、事前インフォームド・エボリューション・モジュールを導入します。
論文 参考訳(メタデータ) (2026-08-28T03:41:53Z) - OPD-Evolver: Cultivating Holistic Agent Evolver via On-Policy Distillation [71.57258488733974]
メモリは、自己進化エージェントの標準的な基盤になっているが、その経験を維持することは、それを通して進化する方法を学ぶことと同じではない。
OPD-Evolver(英語版)は、政策上の自己蒸留を通じて、そのようなエージェントを進化させる緩やかな共進化フレームワークである。
論文 参考訳(メタデータ) (2026-06-16T07:33:53Z) - Teaching Video Generators to Remember: Eliciting Dynamic Memory for Out-of-Sight State Evolution [25.63670341165374]
ビデオモデルは、証拠が保存されていないときに進化する状態を維持すべきであるが、現在のジェネレータは割り込み時に隠れた状態を凍結することが多い。
本稿では,メモリ指向データ,イベント認識トレーニング,キャッシュ型適応による動的メモリ動作を実現するフレームワークであるReMindを紹介する。
論文 参考訳(メタデータ) (2026-05-25T01:30:41Z) - EvolveMem:Self-Evolving Memory Architecture via AutoResearch for LLM Agents [80.59925936278162]
本稿では,自己進化型メモリアーキテクチャであるEvolveMemについて述べる。
このクローズループの自己進化はAutoResearchプロセスを実現している。システムは自力で独自のアーキテクチャ上で反復的な研究サイクルを実行し、手動構成のチューニングを置き換える。
論文 参考訳(メタデータ) (2026-05-13T17:12:44Z) - MemEvolve: Meta-Evolution of Agent Memory Systems [66.09735157017558]
自己進化型メモリシステムは、大型言語モデル(LLM)ベースのエージェントの進化パラダイムを前例のない形で再構築している。
MemeEvolveは、エージェントの経験的知識とメモリアーキテクチャを共同で進化させるメタ進化フレームワークである。
EvolveLabは、12の代表的なメモリシステムをモジュール設計空間に蒸留する、統一された自己進化型メモリである。
論文 参考訳(メタデータ) (2025-12-21T14:26:14Z) - VideoMem: Enhancing Ultra-Long Video Understanding via Adaptive Memory Management [17.645183933549458]
VideoMemは、適応メモリ管理によるシーケンシャルな生成タスクとして、長いビデオ理解をモデル化する新しいフレームワークである。
我々は,VMemが,超長期ビデオ理解タスクの様々なベンチマークにおいて,既存のオープンソースモデルを著しく上回っていることを示す。
論文 参考訳(メタデータ) (2025-12-04T07:42:13Z) - WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。
WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2025-12-02T05:14:52Z) - Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。
10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
論文 参考訳(メタデータ) (2025-11-25T21:08:07Z) - Memory-enhanced Retrieval Augmentation for Long Video Understanding [91.7163732531159]
本稿では,メモリ強化型RAGベースの新しいアプローチであるMemVidを紹介する。
提案手法は,1) 全体的映像情報の記憶,2) メモリに基づくタスクの情報要求の推論,3) 情報要求に基づくクリティカルモーメントの検索,4) 最終回答を生成するための検索モーメントの抽出という4つの基本的なステップで機能する。
MemVid は LVLM 法と RAG 法に比較して, 効率と有効性を示す。
論文 参考訳(メタデータ) (2025-03-12T08:23:32Z) - Augmented Replay Memory in Reinforcement Learning With Continuous
Control [1.6752182911522522]
オンライン強化学習エージェントは、高次値関数に変換することで、現在、増大するデータを処理することができる。
この拡張によりエージェントの状態空間が増大し、より複雑な問題にスケールアップできるだけでなく、冗長なデータや矛盾するデータを学習することで忘れるリスクも増大する。
大量のデータの近似を改善するために、リプレイメモリバッファに格納された過去の経験のランダムなミニバッチを各学習ステップで頻繁に再生する。
論文 参考訳(メタデータ) (2019-12-29T20:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。