論文の概要: Latent Multimodal Memory Reasoning

• arxiv url: http://arxiv.org/abs/2610.23890v1
• Date: Mon, 28 Sep 2026 08:43:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:52:47.664622
• Title: Latent Multimodal Memory Reasoning
• Title（参考訳）: 潜時マルチモーダルメモリ推論
• Abstract要約: 長期的なパーソナライズされたエージェントは、モダリティと進化する対話状態の分散履歴を推論する必要がある。 本稿では,長期的マルチモーダルメモリ組織を連続的な潜在空間に移行させる,新しいニューロシンボリック・フレームワークであるLMMRについて述べる。 9つのMem-Galleryタスクと12のMemEye設定の実験は、LMMRが複雑なマルチモーダル依存関係をキャプチャする上で、最先端のベースラインを大幅に上回っていることを示している。
• 参考スコア（独自算出の注目度）: 48.00041767669308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-term personalized agents are required to reason over distributed history across modalities and evolving dialogue states. While existing flat cross-modal methods compress visual evidence prematurely and struggle with temporally stale observations, they neglect the necessity to unify multimodal and cross-session evidence. Crucially, raw multimodal memories are inherently entangled and heterogeneous, making fine-grained visual grounding and cross-modal reasoning computationally prohibitive. To this end, we present latent multimodal memory reasoning, i.e., LMMR, a novel neuro-symbolic framework that shifts long-term multimodal memory organization into a continuous latent space. Specifically, (i) instead of converting images to text and relying on static retrieval, LMMR maps both textual hidden states and visual patch features into a shared Sparse Autoencoder concept space, establishing sparse activations as common semantic addresses to dynamically construct a turn-level multimodal memory graph. (ii) A graph encoder then aggregates cross-modal and temporal dependencies across the task-specific latent subgraph, injecting the graph readout as a continuous residual rollout into the generation backbone while retaining native visual tokens to preserve fine-grained details. Extensive experiments on nine Mem-Gallery tasks and twelve MemEye settings demonstrate that LMMR significantly outperforms state-of-the-art baselines in capturing complex multimodal dependencies while enabling faithful and grounded responses.
• Abstract（参考訳）: 長期的なパーソナライズされたエージェントは、モダリティと進化する対話状態にわたる分散履歴を推論する必要がある。 既存の平坦なクロスモーダル法は、視覚的証拠を早期に圧縮し、時間的に不安定な観察に苦慮する一方で、マルチモーダルとクロスセッションの証拠を統合する必要性を無視している。 重要なことに、生のマルチモーダル記憶は本質的に絡み合っており、不均一であり、微粒な視覚的接地とクロスモーダル推論を計算的に禁止している。 この目的のために我々は,長期的マルチモーダルメモリ組織を連続的な潜在空間へ移行させる新しいニューロシンボリック・フレームワークであるLMMR(Latent Multimodal memory reasoning)を提案する。 具体的には (i)画像をテキストに変換し静的検索に頼る代わりに、LMMRはテキストの隠れ状態と視覚的パッチ機能の両方を共有のスパースオートエンコーダの概念空間にマッピングし、スパースアクティベーションを共通セマンティックアドレスとして確立し、ターンレベルのマルチモーダルメモリグラフを動的に構築する。 (ii)グラフエンコーダは、タスク固有の潜在サブグラフを横断的および時間的依存関係として集約し、グラフ読み出しを生成したバックボーンに連続的な残留ロールアウトとして注入すると同時に、ネイティブなビジュアルトークンを保持して、きめ細かな詳細を保存する。 9つのMem-Galleryタスクと12のMemEye設定に関する大規模な実験により、LMMRは、忠実で接地された応答を可能としながら、複雑なマルチモーダル依存関係をキャプチャする、最先端のベースラインを著しく上回ることを示した。

関連論文リスト

• Disentangling Long-Term Memory via Latent Neuro-Symbolic Reasoning [47.430887329861264]
  LGMは、長期記憶のゆがみを連続的な潜伏空間に変える新しいニューロシンボリック・フレームワークである。 過去のインタラクションを潜在メモリノードにマッピングし、メモリトレースをスパースなコンセプトアクティベーションに切り離す。 パーソナライズされた応答を可能にしながら、明示的および暗黙的な嗜好の両方をキャプチャすることで、最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2026-09-16T10:55:22Z)
• GraMRAG: Orchestrating Multi-Agent Multi-Step Reasoning via Graph Memory with Reinforcement Learning [3.7070385396772916]
  GraMRAGは、動的マルチモーダルメモリグラフを統合するグラフメモリ誘導マルチエージェントRAGフレームワークである。 ReActスタイルのビジュアルツールチェーンでマルチスケールのエンティティトリミングを統一するビジョンテキストブリッジ型推論パラダイムを導入する。 また,エージェント推論を動的指向非巡回グラフとして定式化するマルチモーダルメモリグラフを構築した。
  論文  参考訳（メタデータ） (2026-09-12T17:28:45Z)
• Dual-Latent Memory Routing for Vision-Language Reasoning [39.90357280328134]
  MLLM(Multimodal large language model)は近年,視覚言語推論において大きな進歩を遂げているが,世代が長くなるにつれてその性能は低下することが多い。 複雑なタスクを解く際に、人間が何を見たか、何を推測したかを個別に思い出す方法に着想を得て、DLMRを提案する。 画像証拠を圧縮するビジュアルメモリと、中間的な結論と制約を追跡する推論メモリである。
  論文  参考訳（メタデータ） (2026-09-02T10:45:25Z)
• OmniView-Space: Reinforcing Spatial Reasoning via Multi-Perspective Spatial Mapping [69.48762031013514]
  OmniView-Spaceはマルチモーダルなエゴセントリックなエビデンスを通じて空間の一貫性を維持するために設計されたフレームワークである。 提案手法は, マルチパースペクティブ空間マッピング (MPSM) の3つのコアコンポーネントから構成される。(1) 幾何をクエリ整列型視覚認知マップとテキスト空間グラフに再構成する手法,(2) クエリによって要求されるエゴアンカーを積極的に選択し,対応するMPSM証拠を要求するためのインターリーブドポリシー,(3) MPSM生成トラジェクトリとエゴフレーム報酬を用いてモデルを自己生成認知マップで推論する認知マップ蒸留である。
  論文  参考訳（メタデータ） (2026-07-01T12:45:12Z)
• Closed-Loop Triplet Synergistic Generation for Long-Form Video [61.88597038104749]
  CoSyTriGenは、クローズドループビジュアル-テキスト-メモリのシナジープロセスとしてマルチショット長ビデオ生成を定式化するエージェントフレームワークである。 この三重項に対して視覚言語モデルに基づくアナライザが原因となり、2つの経路に沿ってプロンプトとメモリの両方を更新する。 StoryBenchベンチマークの実験では、代表法よりもクロスショット一貫性、即効性、撮影連続性を大幅に改善した。
  論文  参考訳（メタデータ） (2026-06-15T03:56:43Z)
• Towards Multimodal Lifelong Understanding: A Dataset and Agentic Baseline [58.585692088008905]
  MM-Lifelongはマルチモーダルライフロング理解のために設計されたデータセットである。 撮影時間は181.1時間で、日、週、月の各スケールにまたがって構成され、様々な時間密度を捉えている。
  論文  参考訳（メタデータ） (2026-03-05T18:52:12Z)
• From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents [78.30630000529133]
  本稿ではファジィトレース理論に基づくピラミッド型マルチモーダルメモリアーキテクチャMM-Memを提案する。 MM-Memメモリは階層的に感覚バッファ、エピソードストリーム、シンボリックに構造する。 実験により、MM-Memがオフラインタスクとストリーミングタスクの両方で有効であることが確認された。
  論文  参考訳（メタデータ） (2026-03-02T05:12:45Z)
• Agentic Learner with Grow-and-Refine Multimodal Semantic Memory [50.81667005063605]
  ViLoMemは、コンパクトなスキーマベースのメモリを構築するデュアルストリームメモリフレームワークである。 視覚的障害パターンと論理的推論エラーを符号化し、MLLMが成功し失敗した経験から学ぶことを可能にする。
  論文  参考訳（メタデータ） (2025-11-26T18:55:08Z)
• FOCAL: Contrastive Learning for Multimodal Time-Series Sensing Signals in Factorized Orthogonal Latent Space [7.324708513042455]
  本稿では,マルチモーダル時系列センシング信号から包括的特徴を抽出する,FOCALと呼ばれる新しいコントラスト学習フレームワークを提案する。 ダウンストリームタスクにおける最先端のベースラインを、明確なマージンで一貫して上回る。
  論文  参考訳（メタデータ） (2023-10-30T22:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。