論文の概要: One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA

• arxiv url: http://arxiv.org/abs/2606.10572v1
• Date: Tue, 09 Jun 2026 08:36:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.395301
• Title: One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA
• Title（参考訳）: マルチモーダル・エビデンス毎に1つのトークン:資源制約QAのための潜時記憶
• Authors: Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee,
• Abstract要約: Latent Memoryは、各生のテキストや画像のエビデンスを1つの高次元のLatentトークンで置き換える潜在空間メモリパラダイムである。 3倍から10倍少ないジェネレータトークンを消費しながら、高度なRAGベースラインと比較して、競争力のあるQAパフォーマンスを実現する。 また、WebQA上で最も強力な画像グラウンドのQAパフォーマンスを提供することもできる。
• 参考スコア（独自算出の注目度）: 21.546058294307244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: External memory effectively grounds large language models (LLMs) and vision-language models (VLMs)-based question answering (QA) in relevant multimodal evidence. However, existing memory paradigms represent each memory item in raw text and image forms, so retrieval-based systems must pass the retrieved text or images to the generation LLMs/VLMs, resulting in high token consumption and storage pressure, making it unaffordable for resource-constrained applications. We propose Latent Memory, a latent-space memory paradigm that replaces each raw text or image evidence item with a single high-dimensional latent token produced by a small compressor LLM/VLM. Rather than retrieving raw evidence for generation, Latent Memory operates in a unified latent representation space: the query is embedded into this space to retrieve relevant latent tokens, and the retrieved latent tokens are directly prompted to a pretrained LLM or VLM for answer generation. To make each latent token simultaneously informative for reconstruction, retrieval, and generation, we train the compressor with reconstruction, contrastive, and distillation objectives in a unified end-to-end manner. Latent Memory is evaluated on seven text-only QA benchmarks (e.g., HotpotQA) and multimodal QA benchmarks, where it achieves competitive QA performance compared to advanced RAG baselines while consuming 3x to 10x fewer generator tokens. It can also deliver the strongest image-grounded QA performance on WebQA. Code is available at https://github.com/zz1358m/Latent-Memory-Master.
• Abstract（参考訳）: 外部メモリは,大規模言語モデル (LLM) と視覚言語モデル (VLM) に基づく質問応答 (QA) を,関連するマルチモーダルな証拠として効果的に活用する。 しかし、既存のメモリパラダイムは、各メモリアイテムを生のテキストや画像形式で表現しているため、検索ベースのシステムは、取得したテキストや画像をジェネレーションLLM/VLMに渡さなければならないため、トークンの消費と保存圧力が高く、リソース制約のあるアプリケーションでは使用できない。 本稿では,LLM/VLMで生成した1つの高次元遅延トークンを用いて,各原文や画像証拠項目を置換する潜在空間メモリのパラダイムであるLatent Memoryを提案する。 クエリは関連する潜伏トークンを取得するためにこの空間に埋め込まれ、検索された潜伏トークンは、事前訓練されたLCMまたはVLMに直接、応答生成のために誘導される。 各潜伏トークンを同時に復元・回収・生成に役立てるために, コンプレッサーを一貫したエンド・ツー・エンド方式で再構成・コントラスト・蒸留目標で訓練する。 遅延メモリは、7つのテキストのみのQAベンチマーク(例えばHotpotQA)とマルチモーダルのQAベンチマークで評価され、3倍から10倍のジェネレータトークンを消費しながら、高度なRAGベースラインと比較して競合的なQAパフォーマンスを達成する。 また、WebQA上で最も強力な画像グラウンドのQAパフォーマンスを提供することもできる。 コードはhttps://github.com/zz1358m/Latent-Memory-Masterで入手できる。

関連論文リスト

• MemLens: Benchmarking Multimodal Long-Term Memory in Large Vision-Language Models [50.25006399944962]
  メモリは、長いマルチモーダル相互作用を扱うために、大きな視覚言語モデルにとって不可欠である。 MEMLENSはマルチモーダルマルチセッション会話におけるメモリのベンチマークである。 我々は27個のLVLMと7個のメモリ増強剤を評価した。
  論文  参考訳（メタデータ） (2026-05-14T14:41:17Z)
• Beyond Short-Horizon: VQ-Memory for Robust Long-Horizon Manipulation in Non-Markovian Simulation Benchmarks [96.60530830276281]
  RuleSafeは、スケーラブルなLLM支援シミュレーションフレームワーク上に構築された、新しいオペレーティングベンチマークである。 VQ-Memoryはベクトル量子化変分オートエンコーダを用いたコンパクトで構造化された時間表現である。
  論文  参考訳（メタデータ） (2026-03-10T11:13:54Z)
• Panini: Continual Learning in Token Space via Structured Memory [4.979820180013486]
  言語モデルは、トレーニングされていないコンテンツを推論するために、ますます使われています。 一般的なアプローチは検索拡張生成(RAG)であり、これは動詞の文書を(チャンクとして)外部に保存し、推論時に関連するサブセットのみを取得する。 本稿では,基本モデルを固定したままで,新たな経験を外部セマンティックメモリ状態に統合することで学習を行う,人間のような非パラメトリック連続学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T19:58:03Z)
• Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
  Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。 10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
  論文  参考訳（メタデータ） (2025-11-25T21:08:07Z)
• Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in LLMs [28.807582003957005]
  本稿では,長期記憶を必要とするタスクに対する大規模言語モデル(LLM)の能力を評価するためのフレームワークを提案する。 次に、100の会話と2000の検証済みの質問からなる新しいベンチマークであるBEAMを構築します。 モデル性能を向上させるために,LLMに3つの相補的メモリシステムを備えたLIGHT-aフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:29:52Z)
• From Single to Multi-Granularity: Toward Long-Term Memory Association and Selection of Conversational Agents [79.87304940020256]
  大言語モデル(LLM)は会話エージェントで広く採用されている。 MemGASは、多粒度アソシエーション、適応選択、検索を構築することにより、メモリ統合を強化するフレームワークである。 4つの長期メモリベンチマークの実験により、MemGASは質問応答と検索タスクの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-26T06:13:07Z)
• Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions [55.19217798774033]
  メモリは、大規模言語モデル(LLM)ベースのエージェントを支える、AIシステムの基本コンポーネントである。 本稿ではまず,メモリ表現をパラメトリックおよびコンテキスト形式に分類する。 次に、コンソリデーション、更新、インデックス付け、フォッティング、検索、圧縮の6つの基本的なメモリ操作を紹介します。
  論文  参考訳（メタデータ） (2025-05-01T17:31:33Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
  VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。 本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。 本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
  論文  参考訳（メタデータ） (2024-11-23T13:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。