論文の概要: Learning to Retrieve: Internalizing Memory Retrieval for Video World Models

• arxiv url: http://arxiv.org/abs/2610.11444v1
• Date: Thu, 08 Oct 2026 08:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.880226
• Title: Learning to Retrieve: Internalizing Memory Retrieval for Video World Models
• Title（参考訳）: 検索する学習: ビデオワールドモデルのためのメモリ検索の内部化
• Abstract要約: textbfLearning-to-Retrieve (L2R)を導入し、過去のコンテキストのメモリとしてモデルの内部状態を再利用する。 L2Rは、外部メモリバンクや3D条件を不要にしながら、長期的なシーン一貫性を改善する。
• 参考スコア（独自算出の注目度）: 24.81057826362593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video world models aim to generate explorable, 3D-consistent scene videos conditioned on camera trajectories. Existing approaches often rely on external memory systems that explicitly retrieve previously observed content to mitigate scene drift during long-horizon generation. However, these auxiliary memory pathways operate outside the model's internal generative dynamics, preventing the model from intrinsically learning when and what historical information should be retrieved. We propose to internalize memory retrieval into the generation process, allowing retrieval to emerge as an intrinsic behavior of the video world model rather than relying on an external memory system. Based on this principle, we introduce \textbf{Learning-to-Retrieve (L2R)}, which repurposes the model's persistent internal state as a memory for historical context. A camera-conditioned retrieval gate selectively accesses relevant historical information from this state, determining \textit{what to retrieve}, while a retrieval trigger determines \textit{when to retrieve}. We further supervise the trigger with a 3D re-visibility signal, activating retrieval when previously observed content re-enters the current view while otherwise preserving the existing context. Together, these components enable the model to intrinsically acquire memory retrieval behavior and incorporate relevant historical observations into generation without a separate retrieval pathway. Across multiple base models and camera-revisit benchmarks, L2R improves long-term scene consistency while eliminating the need for an external memory bank or 3D conditions. https://jkhu29.github.io/l2r
• Abstract（参考訳）: ビデオワールドモデルは、カメラ軌道に固定された探索可能な3D一貫性のあるシーンビデオを生成することを目的としている。 既存のアプローチは、しばしば外部メモリシステムに頼り、長期水平発生時のシーンドリフトを緩和するために、観測済みのコンテンツを明示的に検索する。 しかしながら、これらの補助記憶経路はモデルの内部生成ダイナミクスの外で動作し、モデルがいつ、どの履歴情報を取得すべきかを本質的に学習するのを防ぐ。 本稿では、メモリ検索を生成プロセスに内包し、外部メモリシステムに頼るのではなく、ビデオワールドモデルの本質的な振る舞いとして検索を行う。 この原理に基づき、歴史的文脈の記憶としてモデルの内部状態を再利用した \textbf{Learning-to-Retrieve (L2R)} を導入する。 カメラ条件の検索ゲートは、この状態から関連する履歴情報に選択的にアクセスし、検索トリガは、検索する場所を指定し、検索トリガは、検索する場所を指定する。 さらにトリガを3次元再視認信号で監視し、以前に観察されたコンテンツが既存のコンテキストを保ちながら現在のビューに再入ってくると検索を活性化する。 これらのコンポーネントが組み合わさって、モデルが本質的にメモリ検索の動作を取得し、関連する履歴観測を別々の検索経路なしで生成に組み込むことができる。 複数のベースモデルとカメラ-リビジョンベンチマークを通じて、L2Rは外部メモリバンクや3D条件を不要にしながら、長期的なシーンの一貫性を改善している。 https://jkhu29.github.io/l2r

関連論文リスト

• Geometry as Address: Routing Attention to Visual Memory for Long-Horizon Camera-Controlled Video Generation [65.27606758907416]
  ロングホライゾンカメラ制御ビデオ生成は、成長を続ける視覚の歴史から、これまで観察されたコンテンツを回復する必要がある。 既存のアプローチでは、歴史的コンテキストを暗黙的に検索するか、永続的な3Dメモリに再構築する。 我々は、幾何学を視覚記憶のための明示的なトークンレベルアドレスとして利用するGeometry-Enabled Attention RoutingフレームワークであるGEARを紹介する。
  論文  参考訳（メタデータ） (2026-09-28T09:27:59Z)
• The Past Frames the Future: Memory for Autoregressive Video Generation [180.54347159008623]
  本稿では,ARビデオ生成における記憶機構の体系的,包括的レビューを行う。 我々は、外部ARステップにまたがる永続的な履歴情報として、メモリを運用的に定式化する。 本稿では,信頼性の高いメモリ条件のビデオ生成システムを構築するための構造的基盤を確立する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:52Z)
• Memory Control Signals Emerge Before Action in Long Horizon Agents [55.84813053778976]
  各エージェントアクションの直前に隠された状態を調べ、圧縮とリコールの要求がモデルの内部表現にすでにエンコードされていることを確認する。 本研究では,状態誘導圧縮と外部エビデンス検索を組み合わせたPreaction Memory with Evidence Retrieval (PaMER)を提案する。
  論文  参考訳（メタデータ） (2026-09-23T03:23:34Z)
• Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding [64.34948094316685]
  latentStreamは、ストリーミングメモリをストア・アンド・レトリーブから検索・インターナライズへシフトする、プログレッシブな潜伏型ワーキングメモリフレームワークです。 LatentStreamは、既存のオンラインおよびオフラインビデオベンチマークで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2026-09-03T17:28:14Z)
• LayerRecall: A State-Conditioned Memory Router for Long-Horizon Consistency in Video Generation [22.878882105342182]
  自己回帰ビデオ拡散は、境界付けられた最近の文脈からチャンクを生成する。 頻度ベースのキャッシュは、被写体、オブジェクト、シーン、または属性が再び現れるときに必要となる歴史的手がかりを排除します。 LayerRecallは関連するK/V状態を取得し、バックボーン固有のメモリ依存レイヤにのみ注入する。
  論文  参考訳（メタデータ） (2026-08-28T15:49:13Z)
• Geometry-Aware Implicit Memory for Video World Models [29.522291951915577]
  GIM-Worldは、ビデオワールドモデルのための幾何学的な暗黙記憶フレームワークである。 カメラクエリ可能な幾何ヘッドは、凍結基礎モデルからトレーニング中にメモリに3Dシーン構造を蒸留する。 MINDの実験では、GIM-Worldは明示的メモリベースラインと暗黙的メモリベースラインの両方よりも、長期の幾何学的および視覚的一貫性を保っている。
  論文  参考訳（メタデータ） (2026-06-01T16:08:43Z)
• I3DM: Implicit 3D-aware Memory Retrieval and Injection for Consistent Video Scene Generation [56.33710337846449]
  I3DMは、一貫した映像シーン生成のための暗黙的な3D対応メモリ機構である。 われわれのアプローチの核心は3D対応メモリ検索戦略である。 検索した履歴フレームをフル活用するために,3次元メモリインジェクションモジュールを導入する。
  論文  参考訳（メタデータ） (2026-03-24T16:45:40Z)
• VMem: Consistent Interactive Video Scene Generation with Surfel-Indexed View Memory [55.73900731190389]
  Surfel-Indexed View Memory (VMem) は、過去のビューを記憶するメモリモジュールであり、それらが観測した3次元表面要素(サーフェル)に基づいて幾何学的にインデックス化することで、過去のビューを記憶する。 VMemは、新しいビューを生成する際に、最も関連性の高い過去のビューを効率的に検索することを可能にする。
  論文  参考訳（メタデータ） (2025-06-23T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。