論文の概要: Retrieval-Augmented Online Textual Memory for Episodic Memory Video Question Answering
- arxiv url: http://arxiv.org/abs/2610.31284v1
- Date: Thu, 22 Oct 2026 13:49:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.393086
- Title: Retrieval-Augmented Online Textual Memory for Episodic Memory Video Question Answering
- Title(参考訳): Retrieval-Augmented Online Textual Memory for Episodic Memory Video Question Answering
- Abstract要約: 長いエゴセントリックなビデオは、マルチモーダル言語モデルにとって重要な課題である。
本研究は,映像質問応答における検索の役割を体系的に研究する。
- 参考スコア(独自算出の注目度): 9.04242049753884
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long egocentric videos pose a central challenge for multimodal language models: the visual stream must be compressed into a memory representation that can be searched efficiently while still preserving the evidence needed for question answering. Building on an online textual-memory framework in which first-person videos are converted into temporally grounded captions, this work systematically studies the role of retrieval in episodic-memory video question answering. We evaluate how different retrieval units, query formulations, context budgets, and reranking strategies affect multiple-choice answering on QAEgo4D-Closed, isolating retrieval as the main variable while keeping the underlying generated memory fixed. Our best configuration, Parent, matches fine-grained caption subchunks, then provides their full parent captions to the reasoner. It achieves 56.4 % accuracy, matching strong full-memory and retrieval baselines while exposing only a small fraction of the textual memory at question time. More importantly, our analysis shows that better temporal coverage does not necessarily translate into better answers: increasing the retrieval budget improves temporal Hit@K and Recall@K, but can reduce accuracy by introducing visually plausible distractors and uncertain caption evidence. These findings suggest that retrieval-augmented egocentric memory should not be optimized only for evidence recall, but also for the reliability, specificity, and answer-discriminative value of the retrieved context. The study motivates more structured episodic memories that move beyond raw caption retrieval toward evidence-aware representations for long-form egocentric reasoning.
- Abstract(参考訳): 視覚的ストリームは、質問応答に必要な証拠を保存しながら、効率的に検索できるメモリ表現に圧縮されなければならない。
本研究は,1対1の動画を時間的根拠付きキャプションに変換するオンライン・テキスト・メモリ・フレームワークを基盤として,エピソード・メモリ・ビデオ質問応答における検索の役割を体系的に研究する。
我々は,検索単位,クエリの定式化,コンテキスト予算,再配置戦略がQAEgo4D-Closed上での複数選択応答に与える影響を評価し,基礎となる生成メモリを固定しつつ,検索を主変数として分離する。
最高の設定であるParentは、きめ細かいキャプションのサブチャンクにマッチし、その親のキャプションを完全に理性者に提供します。
56.4パーセントの精度を実現し、強力なフルメモリと検索ベースラインに適合すると同時に、問題時のテキストメモリのごく一部しか露出しない。
検索予算の増大は、時間的Hit@KとRecall@Kを改善するが、視覚的に実証可能な散見器や不確実なキャプション証拠を導入することによって、精度を低下させることができる。
以上の結果から,エゴセントリックメモリはエビデンスリコールだけでなく,検索した文脈の信頼性,特異性,解答識別値にも最適化されるべきであることが示唆された。
この研究は、より構造化されたエピソード記憶を動機付け、生のキャプション検索を超えて、長文のエゴセントリック推論のためのエビデンス認識表現へと移行する。
関連論文リスト
- VideoTapestry: Query-Adaptive Memory Refinement for Multi-Agent Long-Video Understanding [98.11639588256874]
VideoTapestryはトレーニング不要のマルチエージェントフレームワークで、粗大でクエリ駆動の洗練を通じて階層的なビデオメモリに適応する。
VideoTapestryの精度は17.2%、14.9%、9.8%、Benchは7.0%、LongVideoBench(Long Ego)、Video-MME(Long Ego)、Video-MME(Long Ego)である。
論文 参考訳(メタデータ) (2026-10-05T16:44:25Z) - Remember by Asking: Retrieval-Induced Memory Evolution for LLM Agents [10.809831681526058]
RIMEは、メモリ構造をモノリシック圧縮からエビデンス中心の統合に移行する、検索誘起メモリフレームワークである。
推論時には、圧縮されたメモリが唯一の証拠源というよりは、プライマリとして機能する。
Qwen3-235B-A22B と GPT-5.6 Sol による LoCoMo の実験は、RIME が常に最高の性能を達成することを示した。
論文 参考訳(メタデータ) (2026-09-28T06:57:46Z) - MemChain: Learning Interpretable Memory Traces for Memory-Augmented LLM Agents [26.87993979719045]
メモリ拡張LDMエージェントは通常、関連するメモリを検索し、直接回答モデルに入力することでクエリに応答する。
提案するMemChainは、検索した候補を応答対応アクティブメモリに変換する訓練後のメモリポリシーである。
MemChainは、クローズドソースとオープンウェイトフリートの両方の解答モデルにおいて、最先端のパフォーマンスを一貫して達成していることを示す。
論文 参考訳(メタデータ) (2026-07-27T07:37:43Z) - Imprint: Online Memory Compression for Long-Horizon Egocentric QA [3.944710336786154]
ロングホライゾンのエゴセントリックな質問の答えは、過去に何時間、何日も発生した出来事について答えることである。
既存のロングホライゾン・エゴセントリックQA法は、観測の階層的なテキスト要約としてメモリを構成する。
我々は,オンラインメモリ圧縮問題として,長軸エゴ中心メモリを定式化するインタラクション中心メモリフレームワークImprintを提案する。
論文 参考訳(メタデータ) (2026-07-01T09:45:30Z) - Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning [77.7531245219403]
textscHomerは階層型オンラインメモリ探索および推論フレームワークである。
textscHomerの記憶は、生の知覚から繰り返される実体、明示的な時間的・因果関係と結びついた出来事まで、長いビデオのマルチスケール構造を反映している。
textscHomerは、M3-Bench-robot、M3-Bench-web、Video-MME-Longで$+5.5$、$+10.8$、$+4.4$ポイントで前のベストエージェントメソッドより優れている。
論文 参考訳(メタデータ) (2026-07-01T05:53:09Z) - RaMem: Contextual Reinstatement for Long-term Agentic Memory [21.228780482661076]
本稿では,検索したメモリフラグメントを文脈的エビデンスに変換するフレームワークであるAgenic Memory (RaMem) について述べる。
ラメムは4つの調整された段階を経る: (i) それぞれの記憶を元のエピソード条件、特にイベント時間、参照時間、セッションスパンおよび参加者に固定する証拠 (ii) 記憶条件誘導は、クエリによって入力されたエビデンス条件を導出する; (iii) 妥当性認識検索は、これらの条件を使用して、コンテンツ関連候補をフォールバック証拠として保持しながら、コンテキスト互換な記憶を優先順位付けする; (iv) コンテキスト保存合成は、選択された記憶の構造化されたコンテキストをジェネレータに保持する。
論文 参考訳(メタデータ) (2026-06-22T04:41:14Z) - EgoMemReason: A Memory-Driven Reasoning Benchmark for Long-Horizon Egocentric Video Understanding [89.26501160264199]
EgoMemReasonは、メモリ駆動推論を通じて、1週間のエゴセントリックなビデオ理解を体系的に評価する。
EgoMemReasonには3つのメモリタイプと6つのコア課題に関する500の質問が含まれている。
EgoMemReasonをMLLMとエージェントフレームワークにまたがる17の手法で評価する。
論文 参考訳(メタデータ) (2026-05-11T01:59:59Z) - REMem: Reasoning with Episodic Memory in Language Agent [32.63834745610879]
エピソードメモリを用いた構築と推論のためのフレームワークであるREMemについて述べる。
我々はREMemがMem0やHippoRAG 2のような時空間記憶システムよりも大幅に優れていることを示す。
REMemはまた、答えられない質問に対してより堅牢な拒絶行動を示す。
論文 参考訳(メタデータ) (2026-02-13T23:54:55Z) - EMemBench: Interactive Benchmarking of Episodic Memory for VLM Agents [52.567469286881426]
本稿では,対話型ゲームによるエージェントの長期記憶評価のためのプログラムベンチマークEMemBenchを紹介する。
固定された質問セットを使う代わりに、EMemBenchは各エージェント自身の軌道から質問を生成する。
各テンプレートは、下層のゲーム信号から検証済みの真理を計算する。
論文 参考訳(メタデータ) (2026-01-23T12:09:59Z) - WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。
WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2025-12-02T05:14:52Z) - Evaluating Long-Term Memory for Long-Context Question Answering [100.1267054069757]
質問応答タスクにアノテートした合成長文対話のベンチマークであるLoCoMoを用いて,メモリ拡張手法の体系的評価を行う。
以上の結果から,メモリ拡張アプローチによりトークン使用率が90%以上削減され,競争精度が向上した。
論文 参考訳(メタデータ) (2025-10-27T18:03:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。