論文の概要: Do You Remember? Toward Memory-Centric Multimodal AI

• arxiv url: http://arxiv.org/abs/2607.11919v1
• Date: Tue, 07 Jul 2026 19:07:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:29.882011
• Title: Do You Remember? Toward Memory-Centric Multimodal AI
• Title（参考訳）: 覚えていますか? メモリ中心型マルチモーダルAIを目指して
• Abstract要約: 本稿では,再構成メモリをMLLMに導入した3段階アーキテクチャDoYouRememberを紹介する。 1000個の顔の皮膚テクスチャマップと99,000個のラベルのない顔画像から、LLMの隠蔽状態は、約0個の回復可能な視覚情報を含んでいることがわかった。 記憶は減圧であり、記憶は減圧であり、幻覚は欠陥よりも減圧の本質的な性質である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human memory is reconstructive, not a faithful recording. Current multimodal LLMs (MLLMs) lack this capability: they process images through a frozen visual encoder, produce a one-shot text output, and discard internal representations. We present DoYouRemember, a three-stage architecture introducing reconstructive memory into MLLMs: (1) a VQ-VAE compresses images into discrete visual tokens, (2) a LoRA-fine-tuned LLM jointly attends to visual and text tokens, and (3) a Diffusion Decoder reconstructs images from the LLM's hidden states. On 1,000 3D facial skin texture maps and 99,000 unlabeled facial images, we find that LLM hidden states contain approximately zero recoverable visual information -- the same Decoder producing clear reconstructions from VQ-VAE tokens (pre-LLM) produces pure noise from LLM hidden states (post-LLM), demonstrating that the LLM understands images but does not remember them. Training a shared memory matrix M under backpropagation systematically fails due to gradient cancellation (O(1/sqrt(N)) attenuation). We identify three root causes and show that local EMA updating resolves all three: each image updates only its top-8 slots out of 64, preserving inter-slot diversity. The resulting M (229K parameters, 16x compressed) approaches the VQ upper bound on unseen test images. Scaling to 1,024 slots surpasses it (LPIPS 0.056 vs. 0.071), as M's continuous representation avoids VQ quantization error. We unify these findings under an information-theoretic framework: memory is lossy compression, recall is decompression, and hallucination is an inherent property of lossy decompression rather than a defect.
• Abstract（参考訳）: 人間の記憶は再構築され、忠実な記録ではない。 現在のマルチモーダルLCM(MLLM)は、凍結したビジュアルエンコーダを通じて画像を処理し、ワンショットのテキスト出力を生成し、内部表現を破棄する機能を持たない。 本稿では,再構成メモリをMLLMに導入した3段階アーキテクチャであるDoYouRememberについて述べる。(1)VQ-VAEは画像を個別の視覚トークンに圧縮し,(2)LoRAで調整したLCMは視覚トークンとテキストトークンを共用し,(3)拡散デコーダはLLMの隠蔽状態からイメージを再構成する。 1000個の顔の皮膚テクスチャマップと99,000個の未ラベルの顔画像から、LLMの隠された状態は、ほぼゼロの回復可能な視覚情報を含んでいることが判明した。 バックプロパゲーション下の共有メモリ行列Mのトレーニングは、勾配キャンセル(O(1/sqrt(N))減衰)によって体系的に失敗する。 3つの根本原因を特定し,各画像が上位8スロットのみを64スロットから更新し,スロット間の多様性を保った。 結果のM(229Kパラメータ、16x圧縮)は、見えないテスト画像上のVQ上界に近づく。 Mの連続表現はVQ量子化誤差を避けるため、1,024スロットへのスケーリングはそれを超える(LPIPS 0.056 vs. 0.071)。 記憶は減圧であり、記憶は減圧であり、幻覚は欠陥よりも減圧の本質的な性質である。

関連論文リスト

• MemLeak: Diagnosing Information Leaks in Multimodal Agent Memory [12.853875632489114]
  マルチモーダルAIエージェントが事実を忘れるように要求されると、現在のメモリシステムは通常、テキストエントリを削除し、成功を報告します。 完全に異なる事実にタグ付けされた画像を含む、保持されているユーザイメージから、その事実が回復可能であることが分かりました。 Information Provenance Graph (IPG) は、メモリ表現を削除価格で分類する分類法である。
  論文  参考訳（メタデータ） (2026-06-29T05:07:02Z)
• Image Prompt Reconstruction Attacks on Distributed MLLM Inference Frameworks [21.9083862179787]
  分散MLLMフレームワークにおける中間埋め込みによる画像入力に対するプライバシーリスクについて検討する。 我々は,通常の参加者の現実的な脅威を反映した2つの受動ブラックボックス画像再構成攻撃,MPAAとIEDAを開発した。 その結果,様々な環境下での再現性能は良好であった。
  論文  参考訳（メタデータ） (2026-06-17T05:51:14Z)
• Echo-Memory: A Controlled Study of Memory in Action World Models [58.77172260403133]
  本研究では,行動条件付き世界モデルにおける記憶機構の制御に関する研究を行う。 既存のメモリ設計と比較するのは難しいのは、ゲインにはバックボーン、トレーニング、検索、評価の違いが絡み合っているからである。 我々はEcho-Memoryを使ってアクション・ツー・ビデオのインタフェースを修正し、生成元によって履歴が保存され読み込まれるかだけを変える。
  論文  参考訳（メタデータ） (2026-06-08T17:54:10Z)
• MemLens: Benchmarking Multimodal Long-Term Memory in Large Vision-Language Models [50.25006399944962]
  メモリは、長いマルチモーダル相互作用を扱うために、大きな視覚言語モデルにとって不可欠である。 MEMLENSはマルチモーダルマルチセッション会話におけるメモリのベンチマークである。 我々は27個のLVLMと7個のメモリ増強剤を評価した。
  論文  参考訳（メタデータ） (2026-05-14T14:41:17Z)
• From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents [78.30630000529133]
  本稿ではファジィトレース理論に基づくピラミッド型マルチモーダルメモリアーキテクチャMM-Memを提案する。 MM-Memメモリは階層的に感覚バッファ、エピソードストリーム、シンボリックに構造する。 実験により、MM-Memがオフラインタスクとストリーミングタスクの両方で有効であることが確認された。
  論文  参考訳（メタデータ） (2026-03-02T05:12:45Z)
• Agentic Learner with Grow-and-Refine Multimodal Semantic Memory [50.81667005063605]
  ViLoMemは、コンパクトなスキーマベースのメモリを構築するデュアルストリームメモリフレームワークである。 視覚的障害パターンと論理的推論エラーを符号化し、MLLMが成功し失敗した経験から学ぶことを可能にする。
  論文  参考訳（メタデータ） (2025-11-26T18:55:08Z)
• CoMemo: LVLMs Need Image Context with Image Memory [51.681858871027345]
  CoMemoは、Contextイメージパスとイメージメモリパスを組み合わせてビジュアル処理を行うデュアルパスアーキテクチャである。 2次元空間認識を維持するためにサムネイルに基づく位置アグリゲーションを利用する新しい位置符号化機構であるRoPE-DHRを導入する。
  論文  参考訳（メタデータ） (2025-06-06T17:59:06Z)
• PIP-MM: Pre-Integrating Prompt Information into Visual Encoding via Existing MLLM Structures [5.513631883813244]
  既存のMLLMのモジュールを用いて,textbfPre-textbfIntegratestextbfPromptを視覚符号化プロセスに組み込むフレームワークを提案する。 我々のモデルは、視覚トークンの半分を減らしても優れた世代を維持している。
  論文  参考訳（メタデータ） (2024-10-30T15:05:17Z)
• Look Twice Before You Answer: Memory-Space Visual Retracing for Hallucination Mitigation in Multimodal Large Language Models [26.32657568461926]
  マルチモーダルな大言語モデル(MLLM)は幻覚を起こす傾向がある。 MemVRは共通の認知にインスパイアされた新しいデコードパラダイムである。 MemVRは様々なMLLMの幻覚を著しく緩和する。
  論文  参考訳（メタデータ） (2024-10-04T16:30:54Z)
• Auto-Encoding Morph-Tokens for Multimodal LLM [151.2618346912529]
  そこで本稿では,MLLMにテキスト生成を指示する視覚的プロンプトとして機能する。 実験により、モルヒネはマルチモーダル理解と生成を同時に行うための新しいSOTAを実現できることが示された。
  論文  参考訳（メタデータ） (2024-05-03T08:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。