論文の概要: ReMAP: Restoring the Perceptual Cycle with Reasoning-Time Latent Visual Memory

• arxiv url: http://arxiv.org/abs/2610.05097v1
• Date: Sun, 04 Oct 2026 10:00:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 23:28:02.72909
• Title: ReMAP: Restoring the Perceptual Cycle with Reasoning-Time Latent Visual Memory
• Title（参考訳）: ReMAP:Reasoning-Time Latent Visual Memoryによる知覚周期の復元
• Abstract要約: 本稿では,ReMAP(Reasoning-Time Memory-Augmented Perception)を提案する。 ローカルなエビデンスは,グローバルな文脈,コンパクトな潜在表現は精度と視覚的コンテキストコストのバランスをとっており,メモリアクセスの有効性は推論状態に依存する。
• 参考スコア（独自算出の注目度）: 35.70770558856661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As multimodal large language models (MLLMs) reason for longer, attention to the initial visual input diminishes, weakening visual grounding. Visual memory reintroduces visual evidence during reasoning. We conduct a controlled analysis of visual memory along three axes: curation, organization, and access. We find that local evidence benefits from global context, compact latent representations balance accuracy and visual-context cost, and the utility of memory access depends on the reasoning state. Guided by these findings, we propose ReMAP (Reasoning-Time Memory-Augmented Perception), which couples two complementary latent memories: a static, question-conditioned Global memory that preserves scene and cross-image context, and a dynamic Local memory that uses this context as an anchor while selecting and re-encoding region-level evidence according to the current reasoning state. Both memories return compact latent tokens inserted into the reasoning sequence, and a reinforcement-learning access policy trained with branched rollouts decides when to continue reasoning or invoke Global or Local memory. On ten benchmark families, ReMAP outperforms prior visual-memory methods on all four multi-image benchmarks, exceeding the strongest prior results on MuirBench and MIMIC by 8.38 and 14.84 percentage points. Across four backbone families, enabling memory access improves over the same trained model with memory disabled, and on shared V*Bench, CV-Bench-2D, and MuirBench questions ReMAP reduces the visual tokens entering the reasoning sequence by 51.0-76.8% relative to the native-resolution backbone. Further analyses show that Global and Local memory form distinct yet complementary latent representations. Together, these components restore the perceptual cycle by letting the reasoning state trigger targeted visual retrieval, with the retrieved evidence guiding subsequent reasoning.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)が長引くにつれて、初期視覚入力への注意は減少し、視覚的接地が弱まる。 視覚記憶は推論中に視覚的証拠を再導入する。 我々は、キュレーション、組織、アクセスの3つの軸に沿って、視覚記憶の制御された分析を行う。 ローカルなエビデンスは,グローバルな文脈,コンパクトな潜在表現は精度と視覚的コンテキストコストのバランスをとっており,メモリアクセスの有効性は推論状態に依存する。 これらの知見に導かれたReMAP(Reasoning-Time Memory-Augmented Perception)は,静的な質問条件付きグローバルメモリと,このコンテキストをアンカーとして使用し,領域レベルの証拠を現在の推論状態に従って選択・再エンコードする動的ローカルメモリの2つの補完記憶を結合する。 両方のメモリは推論シーケンスに挿入されたコンパクトな潜伏トークンを返却し、分岐ロールアウトでトレーニングされた強化学習アクセスポリシーは、いつグローバルメモリやローカルメモリの推論を継続するかを決定する。 10のベンチマークファミリにおいて、ReMAPは4つのマルチイメージのベンチマークで以前のビジュアルメモリ手法よりも優れており、MuirBenchとMIMICの8.38ポイント、14.84ポイントで最強の結果を上回っている。 メモリアクセスを可能にする4つのバックボーンファミリーは、メモリを無効にした同じトレーニングモデルで改善され、共有V*Bench、CV-Bench-2D、MuirBenchの質問では、ReMAPはネイティブ解像度のバックボーンと比較して推論シーケンスに入る視覚トークンを51.0-76.8%削減する。 さらなる分析により、グローバルメモリとローカルメモリは異なるが相補的な潜在表現を形成することが示された。 これらのコンポーネントは共に、推論状態が対象の視覚的検索をトリガーすることで知覚サイクルを復元し、検索された証拠がその後の推論を導く。

関連論文リスト

• CreaMem: A Scene-Aware Memory Architecture for Personalized Agents [10.59532182467324]
  本稿では,メモリを複数のライフシーンメモリに分割することで,シーン認識型メモリ構成を可能にするCreaMemアーキテクチャを提案する。 CreaMemは、すべての評価指標のQA精度を改善し、特にマルチホップ推論のパフォーマンスを大きく向上させる。 強化するために、私たちはコードをパブリックなGitHubリポジトリにリリースしました。
  論文  参考訳（メタデータ） (2026-09-08T10:33:05Z)
• MemChain: Learning Interpretable Memory Traces for Memory-Augmented LLM Agents [26.87993979719045]
  メモリ拡張LDMエージェントは通常、関連するメモリを検索し、直接回答モデルに入力することでクエリに応答する。 提案するMemChainは、検索した候補を応答対応アクティブメモリに変換する訓練後のメモリポリシーである。 MemChainは、クローズドソースとオープンウェイトフリートの両方の解答モデルにおいて、最先端のパフォーマンスを一貫して達成していることを示す。
  論文  参考訳（メタデータ） (2026-07-27T07:37:43Z)
• Memory is Reconstructed, Not Retrieved: Graph Memory for LLM Agents [51.30250860677378]
  本稿では,連想記憶グラフとアクティブな再構成機構を組み合わせたフレームワークであるMRAgentを提案する。 Cue-Tag-Contentグラフ上で実行することで,メモリアクセスに直接推論を統合する。 LoCoMoベンチマークとLongMemEvalベンチマークの実験は、強いベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-06-04T11:29:46Z)
• MemEye: A Visual-Centric Evaluation Framework for Multimodal Agent Memory [80.97855900579512]
  既存の評価では、エージェントが後続の推論に必要な視覚的証拠を保存するかどうかを検査することはめったにない。 メモリ性能を2次元から評価するフレームワークであるMemEyeを紹介する。 本フレームワークでは,8つのライフシナリオタスクにまたがる新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2026-05-14T17:37:52Z)
• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval [59.295767860331004]
  RF-Memは、親しみやすい不確実性誘導デュアルパスメモリレトリバーである。 それは、人間のようなデュアルプロセス認識をレトリバーに埋め込む。 一定の予算とレイテンシの制約の下で、ワンショット検索とフルコンテキスト推論を一貫して上回る。
  論文  参考訳（メタデータ） (2026-03-10T06:31:44Z)
• REMem: Reasoning with Episodic Memory in Language Agent [32.63834745610879]
  エピソードメモリを用いた構築と推論のためのフレームワークであるREMemについて述べる。 我々はREMemがMem0やHippoRAG 2のような時空間記憶システムよりも大幅に優れていることを示す。 REMemはまた、答えられない質問に対してより堅牢な拒絶行動を示す。
  論文  参考訳（メタデータ） (2026-02-13T23:54:55Z)
• Memory Matters More: Event-Centric Memory as a Logic Map for Agent Searching and Reasoning [55.251697395358285]
  大規模言語モデル(LLM)は、環境を推論し、計画し、相互作用するインテリジェントエージェントとして、ますます多くデプロイされている。 長期のシナリオに効果的にスケールするには、そのようなエージェントの重要な機能は、過去の経験を保持し、整理し、取り出すことができるメモリメカニズムである。 イベント理論にインスパイアされたイベント中心のメモリフレームワークであるCompassMemを提案する。
  論文  参考訳（メタデータ） (2026-01-08T08:44:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。