論文の概要: VL-MemKnG: Hybrid Memory with a Spatio-Temporal Knowledge Graph for Question Answering over Long Egocentric Navigation Trajectories

• arxiv url: http://arxiv.org/abs/2606.17183v1
• Date: Mon, 15 Jun 2026 18:21:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.096644
• Title: VL-MemKnG: Hybrid Memory with a Spatio-Temporal Knowledge Graph for Question Answering over Long Egocentric Navigation Trajectories
• Title（参考訳）: VL-MemKnG:長軸航法軌道上の質問応答のための時空間知識グラフ付きハイブリッドメモリ
• Authors: Svetlana Lukina, Mohamad Al Mdfaa, Gloria Haro, Sergey Zagoruyko, Gonzalo Ferrer,
• Abstract要約: 本稿では,VL-MemKnGを拡張するハイブリッドメモリフレームワークを提案する。 また、長距離ナビゲーション指向のビデオ質問応答のためのWalkyKnowledgeの拡張であるWalkyKnowledgeT+についても紹介する。
• 参考スコア（独自算出の注目度）: 6.008251172997241
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Answering navigation-relevant questions over long egocentric videos requires retrieving and organizing evidence distributed across distant temporal moments while maintaining spatial and contextual consistency. Although long-context vision--language models can achieve strong answer quality, they are computationally expensive for long trajectories and inefficient for repeated querying. Recent graph-based approaches such as VL-KnG address this challenge through persistent spatio-temporal knowledge graphs, but graph-centric retrieval alone may underrepresent broader temporal continuity and contextual cues. We present VL-MemKnG, a hybrid memory framework that extends VL-KnG by combining a spatio-temporal knowledge graph with persistent segment-level contextual memory. The knowledge graph captures structured relational information and long-range object associations, while segment-level memory preserves broader temporal context for long-horizon evidence retrieval. A hybrid retrieval-and-reasoning module jointly operates over both memory representations to produce evidence-grounded answers and temporally organized supporting evidence. We also introduce WalkieKnowledgeT+, an extension of WalkieKnowledge for long-horizon navigation-oriented video question answering. The benchmark includes temporally distributed reasoning tasks requiring evidence aggregation across multiple non-cooccurring moments. On WalkieKnowledgeT+, VL-MemKnG improves Top-1 retrieval accuracy from 58% to 67% and Recall@1 from 34.50% to 40.55%, outperforming all compared methods, including Gemini 2.5 Pro and Qwen 3.5+. The gains are particularly pronounced on temporal-global and temporally scattered aggregation questions, demonstrating the benefits of combining structured relational memory with segment-level contextual memory while maintaining efficient query-time inference.
• Abstract（参考訳）: 長い自我中心のビデオに対するナビゲーション関連質問に答えるには、空間的および文脈的整合性を維持しながら、遠くの時間的瞬間に分散した証拠を検索し、整理する必要がある。 長いコンテキストの視覚-言語モデルは、強い応答品質を達成することができるが、長い軌跡には計算コストがかかり、繰り返しクエリーには非効率である。 VL-KnGのような最近のグラフベースのアプローチは、持続的な時空間知識グラフを通じてこの問題に対処するが、グラフ中心の検索だけでは、より広範な時間的連続性と文脈的手がかりを表現できない可能性がある。 VL-MemKnGは,時空間知識グラフと永続的なセグメントレベルのコンテキスト記憶を組み合わせることで,VL-KnGを拡張するハイブリッドメモリフレームワークである。 知識グラフは構造化された関係情報と長距離オブジェクト関連をキャプチャし、セグメントレベルのメモリは長期的証拠検索のためにより広い時間的文脈を保存する。 ハイブリッド検索・推論モジュールは、両方のメモリ表現を共同で操作し、エビデンスを基底とした回答を生成し、時間的に組織化された支持エビデンスを生成する。 また、長距離ナビゲーション指向のビデオ質問応答のためのWalkyKnowledgeの拡張であるWalkyKnowledgeT+についても紹介する。 このベンチマークには、複数の非共起モーメントのエビデンスアグリゲーションを必要とする時間分散推論タスクが含まれている。 WalkieKnowledgeT+では、VL-MemKnGはTop-1検索精度を58%から67%に改善し、Recall@1は34.50%から40.55%に改善し、Gemini 2.5 ProやQwen 3.5+を含むすべての比較手法を上回った。 特に、時間的グローバルと時間的に散在するアグリゲーションの質問では、効率的なクエリ時間推論を維持しながら、構造化されたリレーショナルメモリとセグメントレベルのコンテキストメモリを組み合わせる利点が示される。

関連論文リスト

• Event-Causal RAG: A Retrieval-Augmented Generation Framework for Long Video Reasoning in Complex Scenarios [9.729442664774988]
  Event-Causal RAGは、無限長ビデオ推論のための軽量な検索拡張フレームワークである。 ストリーミングビデオを意味的に一貫性のあるイベントにセグメントし、各イベントを構造化されたステート-イベント-ステートグラフとして表現する。 このメモリ上に、最も関連性の高いイベント因果連鎖を効率的に識別するための双方向検索戦略を設計する。
  論文  参考訳（メタデータ） (2026-05-07T13:01:28Z)
• NaviRAG: Towards Active Knowledge Navigation for Retrieval-Augmented Generation [50.16741209529908]
  NaviRAGは、パッシブセグメント検索からアクティブな知識ナビゲーションに移行する新しいフレームワークである。 NaviRAGは従来のRAGベースラインよりも検索リコールとエンドツーエンドの応答性能を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2026-04-14T14:07:01Z)
• Learning to Remember: End-to-End Training of Memory Agents for Long-Context Reasoning [18.621823772319154]
  本稿では,メモリ操作と質問応答を一つのポリシーで統一するエンドツーエンド強化学習フレームワークを提案する。 UMAは、グローバルコンテキストのためのコンパクトなコアサマリと、明示的なCRUDをサポートする構造化メモリバンクという、二重メモリ表現を維持している。 Ledger-QA、Test-Time Learning、そしてCurcurate Retrievalにまたがる13のデータセットのうち、UMAは動的推論と学習タスクの長いコンテキストとRAGベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-02-13T16:54:23Z)
• AMA: Adaptive Memory via Multi-Agent Collaboration [54.490349689939166]
  複数の粒度にまたがるメモリ管理に協調エージェントを活用する新しいフレームワークであるAMA(Adaptive Memory via Multi-Agent Collaboration)を提案する。 AMAは、ステート・オブ・ザ・アートのベースラインを著しく上回り、トークンの消費をフルコンテキストの手法と比べて約80%削減する。
  論文  参考訳（メタデータ） (2026-01-28T08:09:49Z)
• HiMem: Hierarchical Long-Term Memory for LLM Long-Horizon Agents [3.9396865837159822]
  HiMemは、長距離対話のための階層的長期記憶フレームワークである。 メモリ構築、検索、持続的なインタラクション中の動的更新をサポートする。 その結果、HiMemは、精度、一貫性、長期的な推論において、代表的ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-01-10T01:26:01Z)
• WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
  我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。 WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-12-02T05:14:52Z)
• LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory [68.97819665784442]
  チャットアシスタントの5つのコアメモリ能力を評価するためのベンチマークであるLongMemEvalを紹介する。 LongMemEvalは、既存の長期記憶システムにとって重要な課題である。 本稿では,長期記憶設計をインデックス化,検索,読解の3段階に分割する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。