論文の概要: SENRI: Understanding the Space-Event Nexus in Real-Life Videos
- arxiv url: http://arxiv.org/abs/2610.25309v1
- Date: Sun, 18 Oct 2026 14:41:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 22:16:34.593779
- Title: SENRI: Understanding the Space-Event Nexus in Real-Life Videos
- Title（参考訳）: SENRI:リアルタイムビデオで宇宙イベントNexusを理解する
- Abstract要約: SENRIは、長い、連続した実生活のエゴセントリックなビデオの中で、宇宙空間の接続を研究するタスクである。
Event$rightarrow$Spaceはイベントキューから空間的知識を回復し、Space$rightarrow$Eventはリージョンとトラジェクトリからイベントを検索する。
我々はSENRI-Benchを構築し、約25.3時間のコンテンツを持つ10の未中断の自己記録ビデオに500の注釈付き複数選択質問を含む。
- 参考スコア（独自算出の注目度）: 62.579359006599326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human memories are organized in a way that connects events with their corresponding spatial contexts. An AI assistant should also be able to memorize and recall the nexus of events and spaces. Thus we introduce SENRI, a task that studies this space--event connection in long, continuous real-life egocentric video. It contains six task types in two directions: Event$\rightarrow$Space, which recovers spatial knowledge from event cues, and Space$\rightarrow$Event, which retrieves events from regions and trajectories. To evaluate this, we build SENRI-Bench, containing 500 manually annotated multiple-choice questions over 10 uninterrupted self-recorded videos with around 25.3 hours of content. Also, we evaluate three typical long video understanding paradigms: direct perception, evidence seeking, and persistent memory. The task remains challenging across all three paradigms, highlighting substantial room for improvement. Then we show two representative failure modes of existing memory methods and address these evidence gaps with SENRI-Agent, a controller that uses Target-Guided Visual Check (TGVC) to propose local visual check tasks for parallel verifiers and integrate the reports into a working memory to help with reasoning. Built upon existing memory systems, SENRI-Agent improves the performance of existing baselines without modifying their stored memories. We hope SENRI will provide valuable insights into how real-life egocentric understanding should be evaluated, reveal the gaps in existing approaches, and offer a possible direction for improvement.
- Abstract（参考訳）: 人間の記憶は、イベントとそれに対応する空間的コンテキストを結びつける方法で組織される。
AIアシスタントは、イベントやスペースのネクサスを記憶し、思い出させることもできます。
そこで本研究では,この空間空間と空間空間の接続を連続的な実生活の自我中心的なビデオで研究するタスクであるSENRIを紹介する。
Event$\rightarrow$Spaceはイベントキューから空間的知識を回復し、Space$\rightarrow$Eventはリージョンとトラジェクトリからイベントを検索する。
これを評価するために、SENRI-Benchを構築し、500件の注釈付き複数選択質問を、約25.3時間のコンテンツで、10件の未中断の自己記録ビデオで作成する。
また、直感、証拠探索、永続記憶という3つの典型的な長ビデオ理解パラダイムを評価した。
このタスクは3つのパラダイムすべてにおいて挑戦的であり、改善の余地がかなり浮かび上がっています。
次に、既存のメモリメソッドの2つの代表的な障害モードを示し、これらのエビデンスギャップをSENRI-Agent(Target-Guided Visual Check(TGVC)を使用して並列検証のためのローカルビジュアルチェックタスクを提案し、レポートをワーキングメモリに統合し、推論を支援するコントローラ)に対処する。
既存のメモリシステムに基づいて構築されたSENRI-Agentは、記憶されているメモリを変更することなく、既存のベースラインのパフォーマンスを改善する。
SENRIは、実生活の自我中心の理解がどのように評価されるべきか、既存のアプローチのギャップを明らかにし、改善の可能な方向性について、貴重な洞察を提供してくれることを願っています。
関連論文リスト
- DialogMem: Evaluating Dialogue-Grounded Embodied Memory in 3D Environments [18.508606259363678]
人間中心の環境での身体的エージェントは、観察するものと人間が時間をかけて伝えるものを統合するメモリを必要とする。
DialogMemは、エージェントがRGB-D観測と対話のタイムアラインストリームからメモリを構築するベンチマークである。
メモリ生成,エビデンス検索,タスク出力の推論という統合された枠組みの中で,9つのメモリ表現を評価する。
論文 参考訳（メタデータ） (2026-10-17T16:19:40Z) - CreaMem: A Scene-Aware Memory Architecture for Personalized Agents [10.59532182467324]
本稿では,メモリを複数のライフシーンメモリに分割することで,シーン認識型メモリ構成を可能にするCreaMemアーキテクチャを提案する。
CreaMemは、すべての評価指標のQA精度を改善し、特にマルチホップ推論のパフォーマンスを大きく向上させる。
強化するために、私たちはコードをパブリックなGitHubリポジトリにリリースしました。
論文 参考訳（メタデータ） (2026-09-08T10:33:05Z) - Beyond Episodic Evaluation: Memory Architectural Bottlenecks in Sequential Embodied Question Answering [93.80043825360514]
EQA(Embodied Question answering)は、伝統的にエピソードの定式化の下で評価され、エージェントは各タスクを独立して解決し、エピソード間の内部状態をリセットする。
EQAエージェントを逐次評価する際に異なるメモリアーキテクチャがどのように振る舞うかを検討する。
既存のメモリを単純に保存することは、しばしば不十分である。
連続したシーン表現の視覚的意味的証拠を3次元幾何学にマッピングするアーキテクチャについて, 構造的, 空間的基盤的記憶の必要性を強調した。
論文 参考訳（メタデータ） (2026-07-23T17:50:45Z) - Keep It in Mind: User Centric Continual Spatial Intelligence Reasoning in Egocentric Video Streams [58.77207336324662]
UCS-ベンチ (UCS-Bench) は、170時間以上のエゴセントリックな視覚観察と8.1K以上のタイムスタンプの質問のデータセットである。
我々は、ストリーミングエゴセントリックな観測から構造化空間記憶をインクリメンタルに構築し、維持するフレームワークであるDirectMeを提案する。
論文 参考訳（メタデータ） (2026-06-13T08:50:49Z) - SuperMemory-VQA: An Egocentric Visual Question-Answering Benchmark for Long-Horizon Memory [14.96864764261795]
SuperMemory-VQAは、実用的な長期記憶タスクでAIアシスタントを評価するデータセットである。
これには、同期RGBビデオ、音声の書き起こし、視線、IMU、SLAMトラジェクトリなど、AIメガネで記録された日常的な活動の52.9時間が含まれている。
対象と位置記憶,意図的リコール,視覚的シーンリコール,タイムライン再構築,会話記憶,コンテキスト内検索にまたがる4,853の質問応答対を構築した。
論文 参考訳（メタデータ） (2026-05-30T17:53:10Z) - WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。
既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。
マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
論文 参考訳（メタデータ） (2026-05-28T04:27:20Z) - EMemBench: Interactive Benchmarking of Episodic Memory for VLM Agents [52.567469286881426]
本稿では,対話型ゲームによるエージェントの長期記憶評価のためのプログラムベンチマークEMemBenchを紹介する。
固定された質問セットを使う代わりに、EMemBenchは各エージェント自身の軌道から質問を生成する。
各テンプレートは、下層のゲーム信号から検証済みの真理を計算する。
論文 参考訳（メタデータ） (2026-01-23T12:09:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。