論文の概要: Keep It in Mind: User Centric Continual Spatial Intelligence Reasoning in Egocentric Video Streams
- arxiv url: http://arxiv.org/abs/2606.15200v1
- Date: Sat, 13 Jun 2026 08:50:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.050714
- Title: Keep It in Mind: User Centric Continual Spatial Intelligence Reasoning in Egocentric Video Streams
- Title（参考訳）: 心に留めておく:エゴセントリックなビデオストリームにおけるユーザー中心の連続的空間的知性推論
- Abstract要約: UCS-ベンチ (UCS-Bench) は、170時間以上のエゴセントリックな視覚観察と8.1K以上のタイムスタンプの質問のデータセットである。
我々は、ストリーミングエゴセントリックな観測から構造化空間記憶をインクリメンタルに構築し、維持するフレームワークであるDirectMeを提案する。
- 参考スコア（独自算出の注目度）: 58.77207336324662
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce UCS-Bench, a dataset spanning 170+ hours of egocentric visual observations with 8.1K+ timestamped questions for diagnosing User-Centric Continual Spatial intelligence in egocentric video streams. UCS-Bench targets a new problem that emphasizes dynamic spatial reasoning, long-term memory, and their alignment with users' real-time locations. We propose DirectMe, a framework that incrementally constructs and maintains a structured spatial memory from streaming egocentric observations. DirectMe enables robust tracking and recall of object locations, all relative to the user's movement over time. By tightly coupling visual perception with memory updates and spatial reasoning, our approach supports long-horizon queries that require recalling interactions, resolving viewpoint-induced ambiguities, and adapting to dynamic scenes. Our experiments show that DirectMe significantly improves the spatial reasoning of leading multimodal LLMs; it also surpasses many spatially aware and long-form streaming video models. We hope our benchmark and solution will advance spatial intelligence research for egocentric AI assistants. Data and code are available at https://github.com/cocowy1/UCS-Bench.
- Abstract（参考訳）: UCS-Benchは170時間以上のエゴセントリックな視覚的観察のデータセットで、8.1K以上のタイムスタンプで、エゴセントリックなビデオストリームでユーザ中心の空間的知能を診断する。
UCS-Benchは、動的な空間推論、長期記憶、ユーザのリアルタイムロケーションとの整合性を強調する新しい問題をターゲットにしている。
我々は、ストリーミングエゴセントリックな観測から構造化空間記憶をインクリメンタルに構築し、維持するフレームワークであるDirectMeを提案する。
DirectMeは、オブジェクト位置の堅牢な追跡とリコールを可能にする。
記憶の更新や空間的推論と視覚知覚を密結合させることで、リコール操作、視点によるあいまいさの解消、動的シーンへの適応といった長軸クエリをサポートする。
実験の結果,DirectMeは先行するマルチモーダルLLMの空間的推論を大幅に改善し,空間的認識と長大なストリーミングビデオモデルを上回る結果となった。
われわれのベンチマークとソリューションは、エゴセントリックなAIアシスタントのための空間知能研究を前進させることを期待している。
データとコードはhttps://github.com/cocowy1/UCS-Bench.comで入手できる。
関連論文リスト
- Dynamic Hub-and-Spoke Memory for Streaming Video Understanding [36.38729564564716]
Dynamic Hub-and-Spoke Memory (D-HSM)は、リモート履歴を構造化されたテキストメモリとして表現するトレーニング不要のフレームワークである。
D-HSMは、選択した歴史的ビデオチャンクをタイプされたテキスト観察に変換し、エンティティ中心のハブ・アンド・スポークメモリに格納する。
質問に答えると、D-HSMは、コンパクトな質問認識メモリサブセットを動的に検索し、ハブ・アンド・スポークリンクを通じて拡張し、最新のビジュアルウィンドウと組み合わせてフリーズ・VLMの応答予測を行う。
論文 参考訳（メタデータ） (2026-08-31T06:02:28Z) - S-EMBER: A Large-Scale Benchmark for Streaming Egocentric Memory Retrieval [38.608941713774186]
S-EMBER(Streaming Egocentric Memory Benchmark for Episodic Retrieval)は,Ray-Ban Metaスマートグラスを用いて388時間の有機活性を計測した3,141本のビデオからなる大規模ベンチマークである。
S-EMBERは、グローバルオフライン検索から、連続ストリームにおける視覚イベントによって引き起こされる因果的アクティブリコールへのパラダイムシフトである、グラウンドドストリーミングエピソード検索を形式化する。
論文 参考訳（メタデータ） (2026-07-02T18:29:20Z) - EGOSTREAM: A Diagnostic Benchmark for Streaming Episodic Memory in Egocentric Vision [9.701124246177661]
連続エピソードメモリは自律エージェントのコア機能である。
Egostreamは、egocentric Visionにおけるエピソードメモリ評価の診断ベンチマークである。
論文 参考訳（メタデータ） (2026-05-29T17:20:10Z) - AdaMem: Adaptive User-Centric Memory for Long-Horizon Dialogue Agents [49.63422082885992]
長軸対話エージェントのための適応型ユーザ中心メモリフレームワークであるAdaMemを提案する。
AdaMemは対話履歴をワーキング、エピソディック、ペルソナ、グラフメモリに整理する。
LoCoMo と PERSONAMEM ベンチマーク上での AdaMem の評価を行った。
論文 参考訳（メタデータ） (2026-03-17T13:22:54Z) - Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training [61.6942259866261]
我々は、テストタイムトレーニング(TTT)を用いた視覚的空間知能のストリーミングに向けた空間TTTを提案する。
我々はハイブリッドアーキテクチャを設計し、スライディング・ウインドウ・アテンションと平行に大きな時間的更新を適用し、効率的な空間ビデオ処理を行う。
実験により,空間TTTは時間軸空間理解を向上し,映像空間ベンチマークにおける最先端性能を実現することが示された。
論文 参考訳（メタデータ） (2026-03-12T17:58:58Z) - EgoThinker: Unveiling Egocentric Reasoning with Spatio-Temporal CoT [56.24624833924252]
EgoThinkerは、時間的連鎖管理と2段階の学習カリキュラムを通じて、堅牢なエゴセントリック推論能力を備えたMLを支援するフレームワークである。
EgoThinkerは、複数のエゴセントリックなベンチマークで既存のメソッドよりも優れており、微粒な時間的ローカライゼーションタスクで大幅に改善されている。
論文 参考訳（メタデータ） (2025-10-27T17:38:17Z) - Strefer: Empowering Video LLMs with Space-Time Referring and Reasoning via Synthetic Instruction Data [100.5266292850922]
Streferはビデオ大モデルに参照と推論機能を持たせるために設計された合成データ生成フレームワークである。
Streferは、時間的に密度が高くきめ細かなビデオメタデータを擬似アノテーションするデータエンジンを使用して、多様な命令生成データを生成する。
我々のアプローチは、ビデオLLMが空間的および時間的参照を解釈する能力を高め、現実のAIコンパニオンに不可欠な、より汎用的で時空間対応の推論を育む。
論文 参考訳（メタデータ） (2025-09-03T17:33:20Z) - Omnia de EgoTempo: Benchmarking Temporal Understanding of Multi-Modal LLMs in Egocentric Videos [51.8995932557911]
EgoTempoは、エゴセントリックドメインにおける時間的理解を評価するために設計されたデータセットである。
本稿では,ベンチマークにおける最先端のマルチモーダル言語モデル (MLLM) が,テキストやフレームのみを入力として,驚くほど高い性能を実現していることを示す。
EgoTempoがこの分野の新たな研究を触媒し、時間的ダイナミクスの複雑さをよりよく捉えたモデルに刺激を与えることを期待している。
論文 参考訳（メタデータ） (2025-03-17T18:50:36Z) - EgoTracks: A Long-term Egocentric Visual Object Tracking Dataset [19.496721051685135]
身体追跡は多くの自我中心の視覚問題にとって重要な要素である。
EgoTracksは、長期的なエゴセントリックなビジュアルオブジェクトトラッキングのための新しいデータセットである。
本稿では,STARKトラッカーの性能向上を図り,エゴセントリックデータの性能向上を図っている。
論文 参考訳（メタデータ） (2023-01-09T09:10:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。