論文の概要: V-Mem: Modality-Routed Retrieval for Long-Term Multimodal Agentic Memory

• arxiv url: http://arxiv.org/abs/2608.01543v1
• Date: Sun, 02 Aug 2026 23:47:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.27086
• Title: V-Mem: Modality-Routed Retrieval for Long-Term Multimodal Agentic Memory
• Title（参考訳）: V-Mem: 長期マルチモーダルエージェントメモリのためのモダリティ制御検索
• Abstract要約: V-Memは、クエリのモダリティとターゲットエビデンスによる検索をルーティングするマルチモーダルエージェントメモリシステムである。 Mem-Galleryでは、V-MemはLLM-judgeスコアが0.82対0.56で2位となり、画像を含む質問では最大のマージンとなった。
• 参考スコア（独自算出の注目度）: 4.180315687162217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interaction between users and LLM agents is increasingly multimodal: conversations interleave text with images, and a later question may target either. Yet most agent memories are designed around text, and even the few that support multimodal conversations still fail on vision-related questions. We trace this failure to an assumption behind the similarity search they rely on: in the index space, a query lies close to the relevant evidence that answers it. In multimodal settings, two gaps break it. By the modality gap, a query lies closer to memory content of its own modality than to evidence in another, even in a trained joint embedding space. By the similarity-relevance gap, the content most similar to a query is often not the evidence that answers it, most acutely when a query carries both text and image and its evidence resembles neither part alone. We present V-Mem, a multimodal agentic memory system that routes retrieval by the modality of the query and that of the target evidence, both recognized from the query alone. To cross the modality gap, V-Mem organizes the conversation into rounds and returns the target-modality content from the same round as the match, without comparing across modalities. To close the similarity-relevance gap, it searches with an LLM-generated anchor that sits closer to the relevant evidence than the query does: a hypothetical caption for a text-only query seeking an image, and an enriched search anchor, the query text plus relevant keywords extracted from the query image, when the evidence is reachable only by combining the two. On Mem-Gallery, V-Mem reaches an LLM-judge score of 0.82 versus 0.56 for the second best, with the largest margin on questions carrying an image (0.87, no baseline above 0.47); on LoCoMo it scores 0.69 versus 0.58.
• Abstract（参考訳）: ユーザとLLMエージェント間のインタラクションは、ますますマルチモーダルになりつつある。 しかし、ほとんどのエージェント記憶はテキストを中心に設計されています。 この失敗は、それらが依存する類似性検索の背後にある仮定に遡る:インデックス空間では、クエリはそれに対応する関連する証拠に近い。 マルチモーダル設定では、2つのギャップが壊れます。 モダリティギャップによって、クエリは、訓練されたジョイント埋め込み空間であっても、他のモダリティにおけるエビデンスよりも、自身のモダリティのメモリ内容に近い。 類似性と関連性のギャップにより、クエリに最も近い内容は、それに対応する証拠ではないことが多い。 本稿では,クエリのモダリティとターゲットエビデンスによって検索をルーティングするマルチモーダルエージェントメモリシステムであるV-Memについて述べる。 モダリティギャップを越えるために、V-Memは会話をラウンドに整理し、モダリティを比較することなく、マッチと同じラウンドからターゲットモダリティコンテンツを返す。 類似性と関連性のギャップを埋めるために、LLM生成アンカーを検索し、クエリよりも関連するエビデンスに近づき、画像を求めるテキストのみのクエリの仮説キャプションと、リッチな検索アンカー、クエリ画像から抽出されたクエリテキストと関連するキーワードを、そのエビデンスが2つの組み合わせでのみ到達可能な場合に検索する。 Mem-Gallery では、V-Mem は LLM-judge スコアが 0.82 対 0.56 で2位であり、画像を含む質問では最大のマージン (0.87, no baseline above 0.47)、LoCoMo では 0.69 対 0.58 である。

関連論文リスト

• SAGE: Semantic Attribute Graphs for Multi-Entity Visual Retrieval [7.2391463583497995]
  我々は、密集した文書画像から意味的エンティティを解析する、トレーニング不要のフレームワークであるSAGEを提案する。 SAGEは意味の希釈を大幅に減らし、パッチレベルとOCRベースの検索ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-01T06:07:20Z)
• VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
  VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。 100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。 強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
  論文  参考訳（メタデータ） (2026-08-18T15:23:06Z)
• LazyMem: Retrieve Broadly, Construct Selectively for Efficient Long-Term Agent Memory [10.916121108457537]
  クエリ時間にすべてのメモリ構成を遅延させるLazyMemを紹介します。 LongMemEvalでは、LazyMem-4B は LLM-judge の精度 0.85 を達成し、最強の非線形ベースラインを上回っている。 さらに、ターゲットドメイントレーニングなしでLoCoMoに一般化し、以前のクエリ時間ベースラインと比較して平均レイテンシを低減する。
  論文  参考訳（メタデータ） (2026-07-17T12:49:57Z)
• Not All Inputs Are Valid: Towards Open-Set Video Moment Retrieval Using Language [82.18047702848021]
  Video Moment Retrieval (VMR) は、未トリミングビデオから文クエリに対応する特定のモーメントを検索するターゲットである。 この目的のために、我々は、新しいVMR設定であるOpen-Set Video Moment Retrieval (OS-VMR)を創造的に探求する。 本稿では,OS-VMRに向けた最初の試みとして,正規化フロー技術に基づくIDおよびOODクエリを識別する新しいモデルであるtextOpenVMRを提案する。
  論文  参考訳（メタデータ） (2026-05-28T11:57:14Z)
• MemLens: Benchmarking Multimodal Long-Term Memory in Large Vision-Language Models [50.25006399944962]
  メモリは、長いマルチモーダル相互作用を扱うために、大きな視覚言語モデルにとって不可欠である。 MEMLENSはマルチモーダルマルチセッション会話におけるメモリのベンチマークである。 我々は27個のLVLMと7個のメモリ増強剤を評価した。
  論文  参考訳（メタデータ） (2026-05-14T14:41:17Z)
• Do Composed Image Retrieval Benchmarks Require Multimodal Composition? [86.99911649534795]
  合成画像検索ベンチマークでは,マルチモーダルな構成が必要であると推定される。 4つの広く使用されているCIRベンチマークと11のジェネリストマルチモーダルエンベディングモデルで、クエリの大部分が単一モードで解決できる。 CIRの性能は、真のマルチモーダル合成ではなく、単一モーダル信号から生じる。
  論文  参考訳（メタデータ） (2026-05-14T12:56:36Z)
• Beyond Caption-Based Queries for Video Moment Retrieval [60.31221310786333]
  キャプションベースのクエリでトレーニングしたVMR手法の劣化について検討するが,検索クエリで評価した。 3つのパブリックVMRデータセットでテキストクエリを変更することで、3つのベンチマークを導入する。 提案手法は,検索クエリの性能を最大14.82% mAP_m,マルチモーメント検索クエリ最大21.83% mAP_mで改善する。
  論文  参考訳（メタデータ） (2026-03-02T20:06:41Z)
• MM-BRIGHT: A Multi-Task Multimodal Benchmark for Reasoning-Intensive Retrieval [18.53521844184766]
  MM-BRIGHTは推論集約検索のための最初のマルチモーダルベンチマークである。 我々のデータセットは29の技術的領域にまたがる2,803の現実世界のクエリで構成されています。
  論文  参考訳（メタデータ） (2026-01-14T15:31:54Z)
• UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
  マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。 UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。 実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
  論文  参考訳（メタデータ） (2025-10-04T04:30:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。