論文の概要: REEL: Learning to Retrieve, Evaluate, and Evolve Visual Memory for Any Long-Horizon Multi-Shot Video Generation
- arxiv url: http://arxiv.org/abs/2610.16632v1
- Date: Mon, 12 Oct 2026 11:54:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.367449
- Title: REEL: Learning to Retrieve, Evaluate, and Evolve Visual Memory for Any Long-Horizon Multi-Shot Video Generation
- Title(参考訳): REEL: 長距離マルチショットビデオ生成のための視覚記憶の検索、評価、改善のための学習
- Abstract要約: メモリベースのロングビデオ生成は、ユーザ制御と長距離視覚的一貫性を組み合わせることを目的としている。
本稿では汎用的なビジュアルメモリプランナであるREELを紹介する。
REELは参照の取得、視覚的証拠の欠如、永続メモリの更新を学ぶ。
- 参考スコア(独自算出の注目度): 57.641811029416374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memory-based long-video generation aims to combine user control with long-range visual consistency. We organize this process into three functional components: a planner, an adapter, and a generator. Representative multi-shot systems couple memory to generator-specific interfaces or use predefined agent workflows, rather than independently training a memory policy for cross-shot objectives. We introduce REEL, a general-purpose visual-memory planner. Through a unified tool interface, REEL learns to retrieve references, create missing visual evidence, and update persistent memory. Backend-specific adapters translate its evidence plans into supported conditioning inputs, allowing the same policy to guide different black-box video generators. To train REEL, we construct two high-quality datasets, REEL-SFT-4k and REEL-RL-1k, covering diverse interaction patterns and prompt types. Training proceeds in three stages: supervised fine-tuning, single-shot Group Relative Policy Optimization (GRPO), and multi-shot GRPO. Multi-shot GRPO carries policy-generated memory across consecutive shots, so later outcomes guide earlier reference selection and memory updates. REEL-Bench tests identity preservation and intended state changes under text-only requests and timed reference-image uploads. On JoyAI-Echo~1.5 and MiniMax-H3, REEL improves cross-shot consistency on ST-Bench by 15.1\% and 20.7\%, and Core-100 on our proposed REEL-Bench by 2.41 and 8.32 points, respectively, over the no-memory baseline.
- Abstract(参考訳): メモリベースのロングビデオ生成は、ユーザ制御と長距離視覚的一貫性を組み合わせることを目的としている。
このプロセスを,プランナ,アダプタ,ジェネレータという3つの機能コンポーネントにまとめる。
代表的なマルチショットシステムは、メモリをジェネレータ固有のインターフェースに結合するか、事前に定義されたエージェントワークフローを使用する。
本稿では汎用的なビジュアルメモリプランナであるREELを紹介する。
統一されたツールインターフェースを通じて、REELは参照を検索し、行方不明の視覚的エビデンスを生成し、永続的なメモリを更新する。
バックエンド固有のアダプタは、エビデンス計画をサポートされた条件付け入力に変換し、同じポリシーで異なるブラックボックスビデオジェネレータをガイドすることができる。
ReELを訓練するために,REEL-SFT-4kとREEL-RL-1kという2つの高品質なデータセットを構築した。
訓練は、教師付き微調整、単発グループ相対政策最適化(GRPO)、マルチショットGRPOの3段階で行われる。
マルチショットGRPOは、連続するショット間でポリシー生成メモリを格納するため、後続の結果は、以前の参照選択とメモリ更新をガイドする。
REEL-Benchは、テキストのみの要求とタイムド参照イメージアップロードの下で、ID保存と意図された状態変更をテストする。
JoyAI-Echo~1.5 と MiniMax-H3 で、REEL は ST-Bench のクロスショット一貫性を 15.1\% と 20.7\% で改善し、Core-100 は、提案した REEL-Bench の2.41 と 8.32 のポイントで、メモリのベースライン上でそれぞれ改善した。
関連論文リスト
- CineMem: Attention-Aligned Fine-grained Memory Retrieval for Multi-Shot Long Video Generation [48.960736196535095]
自動回帰ビデオ生成は、長距離依存をモデル化するためにメモリ検索に依存する。
既存の方法は、フレームレベルでメモリ検索を行い、すべてのクエリトークンで同じ履歴コンテキストを共有する傾向がある。
我々はCineMemを紹介した。CineMemは、オンラインメモリ組織とクエリ適応検索を組み合わせた微粒化メモリ検索フレームワークである。
論文 参考訳(メタデータ) (2026-10-13T08:14:08Z) - ReMem: Rethinking Perception and Memory in Long-Context Recommendation Agents [56.60244663358724]
最近の勧告エージェント(RecAgents)は、推奨をアクティブなユーザサイドパラダイムにシフトすることで、有望な代替手段を提供する。
本稿では,OCRに基づくマルチモーダル認識と時間進化動的メモリを組み合わせたリコメンデーションエージェントフレームワークReMemを提案する。
実験では、ReMemは最先端のベースラインを一貫して上回り、3つの推奨エージェントタスクで平均5.16%の改善を達成した。
論文 参考訳(メタデータ) (2026-09-29T11:46:23Z) - Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。
メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。
MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文 参考訳(メタデータ) (2026-07-15T08:32:40Z) - SAGE: A Self-Evolving Agentic Graph-Memory Engine for Structure-Aware Associative Memory [40.68349164818526]
本稿では,グラフメモリを動的長期記憶基板としてモデル化する自己進化型エージェントグラフメモリエンジンであるSAGEを紹介する。
SAGEには2つの役割がある: 相互作用履歴から構造化されたグラフメモリを漸進的に構成するメモリライタと、検索とメモリライタへのフィードバックを提供するGraph Foundation Modelベースのメモリリーダである。
論文 参考訳(メタデータ) (2026-05-12T12:47:43Z) - Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning [89.55738101744657]
大規模言語モデル(LLM)は、幅広いNLPタスクで印象的な機能を示しているが、基本的にはステートレスである。
本稿では,LLMに外部メモリを積極的に管理・活用する機能を備えた強化学習フレームワークであるMemory-R1を提案する。
論文 参考訳(メタデータ) (2025-08-27T12:26:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。