論文の概要: Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies
- arxiv url: http://arxiv.org/abs/2609.38155v1
- Date: Tue, 29 Sep 2026 17:59:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.826227
- Title: Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies
- Title(参考訳): タイムラインを超えて:地上のエンティティ・バイオグラフィーで長時間ビデオ記憶を拡大
- Abstract要約: 我々は,同じ物理インスタンスの観察をクリップ間でグループ化し,検索可能なバイオグラフィにまとめるメモリフレームワークであるGrounded Entity Biographies (GEB)を紹介した。
質問応答の間、伝記はエピソード的証拠とともに検索され、モデルがイベントを通してエンティティに従うことができる。
EgoLifeQAでは、GABは72.0%の精度で、4.4ポイントが最高の結果を上回っている。
- 参考スコア(独自算出の注目度): 52.12774890476396
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Answering questions about long videos often requires connecting events involving the same objects across hours or days. Chronological descriptions and text-derived entities can leave physical identity unresolved: different objects may share a description, while observations of the same object remain disconnected across events. Retrieving relevant events therefore does not necessarily recover the "biography" of the particular entity a question concerns. To address this, we introduce Grounded Entity Biographies (GEB), a long-video memory framework that groups visually grounded observations of the same physical instance across clips into retrievable biographies while preserving the context of each moment. During question answering, the biography is retrieved alongside episodic evidence, allowing the model to follow an entity through events using identity links established during memory construction. Evaluations across four benchmarks, including day-long and week-long recordings, demonstrate improvements over prior memory frameworks in both multiple-choice and open-ended question answering. On EgoLifeQA, GEB achieves 72.0% accuracy, 4.4 percentage points above the best published result. Ablations show that grounded identity association and biography reading both contribute to the gains, which additional descriptions alone do not fully recover.
- Abstract(参考訳): 長いビデオに関する質問に答えるには、時間や日毎に同じオブジェクトを含むイベントを接続する必要があることが多い。
時系列記述やテキスト由来のエンティティは、物理的アイデンティティを未解決のまま残すことができる。
したがって、関連するイベントを取得することは、特定のエンティティの"バイオグラフィ"を問題として回復するとは限らない。
これを解決するために,我々は,ビデオ中の同じ物理インスタンスの観察を,各瞬間のコンテキストを保ちながら,検索可能な伝記にまとめてグループ化する,長いビデオメモリフレームワークであるGrounded Entity Biographies (GEB)を紹介した。
質問応答中、バイオグラフィーはエピソード的証拠とともに検索され、メモリ構築中に確立されたアイデンティティリンクを使用してイベントを通じてモデルをエンティティに従うことができる。
日長と週長のレコーディングを含む4つのベンチマークに対する評価は、複数選択とオープンな質問応答の両方において、以前のメモリフレームワークよりも改善されていることを示している。
EgoLifeQAでは、GABは72.0%の精度で、4.4ポイントが最高の結果を上回っている。
根拠となるアイデンティティ・アソシエーションと伝記を読むことは両者の利益に寄与し、追加の記述だけでは完全に回復しないことを示している。
関連論文リスト
- Beyond Episodic Evaluation: Memory Architectural Bottlenecks in Sequential Embodied Question Answering [93.80043825360514]
EQA(Embodied Question answering)は、伝統的にエピソードの定式化の下で評価され、エージェントは各タスクを独立して解決し、エピソード間の内部状態をリセットする。
EQAエージェントを逐次評価する際に異なるメモリアーキテクチャがどのように振る舞うかを検討する。
既存のメモリを単純に保存することは、しばしば不十分である。
連続したシーン表現の視覚的意味的証拠を3次元幾何学にマッピングするアーキテクチャについて, 構造的, 空間的基盤的記憶の必要性を強調した。
論文 参考訳(メタデータ) (2026-07-23T17:50:45Z) - VL-MemKnG: Hybrid Memory with a Spatio-Temporal Knowledge Graph for Question Answering over Long Egocentric Navigation Trajectories [6.008251172997241]
本稿では,VL-MemKnGを拡張するハイブリッドメモリフレームワークを提案する。
また、長距離ナビゲーション指向のビデオ質問応答のためのWalkyKnowledgeの拡張であるWalkyKnowledgeT+についても紹介する。
論文 参考訳(メタデータ) (2026-06-15T18:21:14Z) - Memento: Reconstruct to Remember for Consistent Long Video Generation [33.84564823908538]
ロングフォームビデオ生成は、様々なショット、視点、動き、シーン遷移において、連続した被写体を維持する必要がある。
メトンは、被写体保存を明示的なアイデンティティ基盤問題として扱う、被写体再構成誘導フレームワークである。
Metonは、長期的な主題整合性、クロスショットコヒーレンス、視覚的品質において最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-06-12T17:37:13Z) - Q-GeoMem: Question-Guided Geometric Memory for Video Spatial Reasoning [53.96129188781529]
ビデオ空間推論のための質問誘導幾何メモリフレームワークを提案する。
カメラ条件の幾何学を 視覚トークンに注入し 2つの相補記憶を維持します
本研究は,評価空間推論モデルにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2026-05-26T17:26:29Z) - MemEye: A Visual-Centric Evaluation Framework for Multimodal Agent Memory [80.97855900579512]
既存の評価では、エージェントが後続の推論に必要な視覚的証拠を保存するかどうかを検査することはめったにない。
メモリ性能を2次元から評価するフレームワークであるMemEyeを紹介する。
本フレームワークでは,8つのライフシナリオタスクにまたがる新しいベンチマークを構築した。
論文 参考訳(メタデータ) (2026-05-14T17:37:52Z) - EgoMemReason: A Memory-Driven Reasoning Benchmark for Long-Horizon Egocentric Video Understanding [89.26501160264199]
EgoMemReasonは、メモリ駆動推論を通じて、1週間のエゴセントリックなビデオ理解を体系的に評価する。
EgoMemReasonには3つのメモリタイプと6つのコア課題に関する500の質問が含まれている。
EgoMemReasonをMLLMとエージェントフレームワークにまたがる17の手法で評価する。
論文 参考訳(メタデータ) (2026-05-11T01:59:59Z) - WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。
WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2025-12-02T05:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。