論文の概要: Remembering Through Change: Provenance-Preserving Hypergraph Memory for Multimodal Agents
- arxiv url: http://arxiv.org/abs/2610.29995v1
- Date: Wed, 21 Oct 2026 16:34:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 09:50:43.262095
- Title: Remembering Through Change: Provenance-Preserving Hypergraph Memory for Multimodal Agents
- Title(参考訳): 変化を思い出す: マルチモーダルエージェントのための異常保存ハイパーグラフメモリ
- Abstract要約: 本稿では、実体の同一性、状態の進化、そして視覚的証拠の証明を組織化するマルチモーダルハイパーグラフメモリを提案する。
MHG-Memは、個々のノードとして個々の実体の言及と観察された事実を表現し、発生したハイパーエッジを通してアイデンティティに一貫性のある言及と事実をグループ化する。
その後、これらのグループ化された観測からアスペクト特異的な進化状態を合成し、進化的および明らかなハイパーエッジを通して、それらが支持する実体、事実、および証拠とリンクする。
- 参考スコア(独自算出の注目度): 16.631642770285335
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term memory for multimodal agents remains challenging, as it must preserve fine-grained visual evidence while tracking entity evolution across sessions. Existing abstraction-based memories compress images into text, often discarding visually discriminative details, whereas pixel-preserving memories retain raw observations but struggle to reliably associate diverse observations with persistent entity identities and track their evolving states. To address these limitations, we propose MHG-Mem, a multimodal hypergraph memory that jointly organizes entity identity, state evolution, and provenance to visual evidence. Specifically, MHG-Mem represents distinct entity mentions and their observed facts as individual nodes, grouping identity-consistent mentions and facts through occurrence hyperedges. It then synthesizes aspect-specific evolution states from these grouped observations and links them to supporting entities, facts, and source evidence through evolutionary and evidential hyperedges. To navigate this structured memory, we introduce hypergraph-based agentic search, which adaptively selects an entry layer, traverses typed hyperedges across memory levels, and inspects source observations when fine-grained verification is required. These designs support both detailed visual verification and reasoning over cross-session state changes. Extensive experiments across three benchmarks demonstrate the effectiveness of MHG-Mem, improving performance by 8.20-9.98% over the strongest baseline.
- Abstract(参考訳): マルチモーダルエージェントの長期記憶は、セッション間でのエンティティの進化を追跡しながら、きめ細かい視覚的証拠を保持する必要があるため、依然として困難である。
既存の抽象ベースの記憶は画像をテキストに圧縮し、しばしば視覚的に識別された詳細を捨てるが、画素保存記憶は生の観察を保ちながら、様々な観察を永続的な実体のアイデンティティと確実に関連付け、その進化状態を追跡するのに苦労する。
これらの制約に対処するため、我々はMHG-Memを提案する。MHG-Memは、エンティティのアイデンティティ、状態の進化、そして視覚的エビデンスへの証明を協調的に構成するマルチモーダルハイパーグラフメモリである。
具体的には、MHG-Memは個々の実体の言及と観察された事実を個々のノードとして表現し、ハイパーエッジの発生を通じてアイデンティティに一貫性のある言及と事実をグループ化する。
その後、これらのグループ化された観測からアスペクト特異的な進化状態を合成し、進化的および明らかなハイパーエッジを通して、それらが支持する実体、事実、および証拠とリンクする。
この構造化メモリをナビゲートするために、ハイパーグラフベースのエージェントサーチを導入し、入力層を適応的に選択し、メモリレベルを越えて型付きハイパーエッジをトラバースし、きめ細かい検証が必要な場合のソース観測を検査する。
これらの設計は、クロスセッション状態の変更に対する詳細な視覚的検証と推論の両方をサポートする。
3つのベンチマークにわたる大規模な実験では、MHG-Memの有効性が示され、最強のベースラインよりも8.20-9.98%性能が向上した。
関連論文リスト
- ViSAGE: Constructing Self-Correcting Memories for Long-Form Video Understanding [11.461394531496397]
ViSAGEは、自己修正、エンティティ中心のメモリを構築するマルチモーダルなエージェントメモリフレームワークである。
これは、遅延したアイデンティティの証拠を伝播させ、過去の記録を遡って統一し、将来の推論を改善するために、双方向のメモリリファインメントを適用している。
その結果、ViSAGEは最強のベースラインを一貫して上回り、精度は5.9%向上した。
論文 参考訳(メタデータ) (2026-07-29T10:25:23Z) - Closed-Loop Triplet Synergistic Generation for Long-Form Video [61.88597038104749]
CoSyTriGenは、クローズドループビジュアル-テキスト-メモリのシナジープロセスとしてマルチショット長ビデオ生成を定式化するエージェントフレームワークである。
この三重項に対して視覚言語モデルに基づくアナライザが原因となり、2つの経路に沿ってプロンプトとメモリの両方を更新する。
StoryBenchベンチマークの実験では、代表法よりもクロスショット一貫性、即効性、撮影連続性を大幅に改善した。
論文 参考訳(メタデータ) (2026-06-15T03:56:43Z) - MemEye: A Visual-Centric Evaluation Framework for Multimodal Agent Memory [80.97855900579512]
既存の評価では、エージェントが後続の推論に必要な視覚的証拠を保存するかどうかを検査することはめったにない。
メモリ性能を2次元から評価するフレームワークであるMemEyeを紹介する。
本フレームワークでは,8つのライフシナリオタスクにまたがる新しいベンチマークを構築した。
論文 参考訳(メタデータ) (2026-05-14T17:37:52Z) - Improving Multi-step RAG with Hypergraph-based Memory for Long-Context Complex Relational Modeling [83.29209853451697]
多段階検索強化世代(RAG)は,大規模言語モデル(LLM)の拡張戦略として広く採用されている。
我々はHGMemというハイパーグラフベースのメモリ機構を導入し、複雑な推論とグローバルな理解のためにメモリの概念を動的に表現的構造に拡張する。
提案手法では,ハイパーエッジが異なるメモリ単位に対応するハイパーグラフとして表現され,メモリ内での高次相互作用の進行的形成を可能にする。
論文 参考訳(メタデータ) (2025-12-30T03:13:10Z) - SEDM: Scalable Self-Evolving Distributed Memory for Agents [23.182291416527764]
SEDMは、メモリをパッシブリポジトリからアクティブな自己最適化コンポーネントに変換する検証可能で適応的なフレームワークである。
また,SEDMは,強いメモリベースラインに比べてトークンオーバーヘッドを低減しつつ,推論精度を向上することを示した。
結果は、SEDMをオープンエンドのマルチエージェントコラボレーションのためのスケーラブルで持続可能なメモリメカニズムとして強調する。
論文 参考訳(メタデータ) (2025-09-11T14:37:37Z) - Black-box Unsupervised Domain Adaptation with Bi-directional
Atkinson-Shiffrin Memory [59.51934126717572]
Black-box Unsupervised Domain adaptation (UDA)は、トレーニング中にソースデータまたはソースモデルにアクセスすることなく、ターゲットデータのソース予測で学習する。
両方向の記憶機構であるBiMemを提案する。
BiMemは、画像分類、セマンティックセグメンテーション、オブジェクト検出など、さまざまな視覚的タスクに一貫して優れたドメイン適応性能を実現する。
論文 参考訳(メタデータ) (2023-08-25T08:06:48Z) - HM4: Hidden Markov Model with Memory Management for Visual Place
Recognition [54.051025148533554]
自律運転における視覚的位置認識のための隠れマルコフモデルを提案する。
我々のアルゴリズムはHM$4$と呼ばれ、時間的ルックアヘッドを利用して、有望な候補画像をパッシブストレージとアクティブメモリ間で転送する。
固定被覆領域に対して一定の時間と空間推定が可能であることを示す。
論文 参考訳(メタデータ) (2020-11-01T08:49:24Z) - View-Invariant Gait Recognition with Attentive Recurrent Learning of
Partial Representations [27.33579145744285]
本稿では,まず,フレームレベルの畳み込み特徴から歩行畳み込みエネルギーマップ(GCEM)を抽出するネットワークを提案する。
次に、GCEMの分割されたビンから学ぶために双方向ニューラルネットワークを採用し、学習された部分的リカレント表現の関係を利用する。
提案手法は2つの大規模CASIA-BとOU-Mの歩行データセットで広範囲に検証されている。
論文 参考訳(メタデータ) (2020-10-18T20:20:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。