論文の概要: Never Look Back: Understanding Persistence in 3D Object Memory from Egocentric Videos
- arxiv url: http://arxiv.org/abs/2610.10538v1
- Date: Wed, 07 Oct 2026 17:59:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.107821
- Title: Never Look Back: Understanding Persistence in 3D Object Memory from Egocentric Videos
- Title（参考訳）: エゴセントリックビデオから3Dオブジェクトメモリの永続性を理解する
- Abstract要約: Ledgerは、オブジェクトの位置、履歴、コンテキスト記述を組み合わせた永続的な3Dオブジェクトメモリである。
それぞれの物体の観測は、位置を静止させることでまとめられ、繰り返しの証拠の後にのみ記録され、位置化ノイズの影響が軽減される。
我々のメモリは、HD-EPICの精度を29.7%から42.6%に引き上げ、UCS-Benchの精度を33.8%から38.5%に上げ、返却した予測に対して0.99mの中央値誤差でEgo4Dオブジェクトをローカライズする。
- 参考スコア（独自算出の注目度）: 41.880362537066055
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As we move through the world and carry out everyday tasks, we encounter objects that may become relevant only later. We are capable of recalling where we left something or what was inside a container, even without knowing we would need it later. Here, we study how an embodied assistant can build a similar memory from egocentric videos, by observing a person's day-to-day activities. We present Ledger, a persistent 3D object memory that combines object locations, their histories, and contextual descriptions. It associates observations across the recording and retains objects after they leave the view, including those the person never touches. It clusters each object's observations by resting locations and records a move only after repeated evidence, reducing the effect of localization noise. Short descriptions preserve details such as an object's contents or supporting surface. It saves these records to later answer spatial questions without having to access the original images or video. Our memory raises HD-EPIC accuracy from 29.7% to 42.6%, UCS-Bench accuracy from 33.8% to 38.5% and localizes Ego4D objects with a 0.99 m median error on returned predictions. Our analyses identify complementary roles for temporal persistence, contextual descriptions, and retrieval. Our study on 100 stitched streams of multiple scenes each further exposes failures in both retrieval and construction. Per-scene construction partially recovers the performance lost across scene changes compared to that of single scene streams.
- Abstract（参考訳）: 世界中を移動し、日々のタスクを実行すると、後になって関係する可能性のあるオブジェクトに遭遇します。
後で必要なものであっても、どこに忘れたのか、コンテナの中に何があったのかを思い出すことができます。
そこで本研究では,エゴセントリックなビデオから,人間の日々の活動を観察することで,エンボディードアシスタントが同様の記憶を構築できる方法について検討する。
オブジェクトの位置、履歴、コンテキスト記述を組み合わせた永続的な3DオブジェクトメモリであるLedgerを紹介します。
録音中の観察を関連付け、被写体が視界を離れた後にオブジェクトを保持する。
それぞれの物体の観測は、位置を静止させることでまとめられ、繰り返しの証拠の後にのみ記録され、位置化ノイズの影響が軽減される。
短い記述は、オブジェクトの内容やサポート面などの詳細を保存する。
これらのレコードを保存して、元の画像やビデオにアクセスすることなく、後に空間的な質問に答える。
我々のメモリは、HD-EPICの精度を29.7%から42.6%に引き上げ、UCS-Benchの精度を33.8%から38.5%に上げ、返却した予測に対して0.99mの中央値誤差でEgo4Dオブジェクトをローカライズする。
本分析では, 時間的持続性, 文脈的記述, 検索の相補的役割を同定する。
複数のシーンを縫合した100のストリームについて検討した結果,検索と構築の両面での失敗がさらに明らかになった。
シーンごとの構成は、シーンごとのストリームと比較すると、シーンごとのパフォーマンスが部分的に回復する。
関連論文リスト
- Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies [52.12774890476396]
我々は,同じ物理インスタンスの観察をクリップ間でグループ化し,検索可能なバイオグラフィにまとめるメモリフレームワークであるGrounded Entity Biographies (GEB)を紹介した。
質問応答の間、伝記はエピソード的証拠とともに検索され、モデルがイベントを通してエンティティに従うことができる。
EgoLifeQAでは、GABは72.0%の精度で、4.4ポイントが最高の結果を上回っている。
論文 参考訳（メタデータ） (2026-09-29T17:59:01Z) - Long Time No See: Benchmarking VLMs for Out-of-Sight Spatiotemporal Reasoning in Egocentric Videos [42.399026101211184]
現実世界のAIシステムは、もはや見えないオブジェクトを推論する必要がある。
我々は9つの汎用・空間特化VLMをベンチマークした。
最良のモデルは、29.7%の確率とテキストのみのベースラインに対して42.2%に達する。
論文 参考訳（メタデータ） (2026-09-28T08:48:47Z) - VideoReloc: Long-Term Indoor Video Relocalization against a Kilobyte-Scale Semantic Scene Graph [50.42050161026878]
長時間の屋内ビデオ再配置は、照明や家具の変更後の地図フレームの軌跡を推定する。
ビジュアルメソッドは外観に依存し、これらの変更によって信頼性が低下する。
適応的なビデオクリップは、物体と動きの基準が満たされるまで、空間的証拠を集めるためにオドメトリーを使用する。
論文 参考訳（メタデータ） (2026-09-18T14:16:41Z) - Addressable Memory for Video World Models [50.40232922140905]
インタラクティブなビデオワールドモデルにおける視覚的永続性について研究する。
長時間の視覚的永続性のためのトレーニング不要なメモリフレームワーク WorldTrace を提案する。
論文 参考訳（メタデータ） (2026-08-07T16:55:57Z) - Beyond Episodic Evaluation: Memory Architectural Bottlenecks in Sequential Embodied Question Answering [93.80043825360514]
EQA(Embodied Question answering)は、伝統的にエピソードの定式化の下で評価され、エージェントは各タスクを独立して解決し、エピソード間の内部状態をリセットする。
EQAエージェントを逐次評価する際に異なるメモリアーキテクチャがどのように振る舞うかを検討する。
既存のメモリを単純に保存することは、しばしば不十分である。
連続したシーン表現の視覚的意味的証拠を3次元幾何学にマッピングするアーキテクチャについて, 構造的, 空間的基盤的記憶の必要性を強調した。
論文 参考訳（メタデータ） (2026-07-23T17:50:45Z) - REMIND: RE-Identification with Memory for INDoor Navigation [39.146761527401424]
モノクロRGB画像からの屋内ジェネリックオブジェクトの長期的多目的再識別のためのオンライントラッカー。
視覚的認知の証拠によって、人間は明示的な自己ローカライゼーションではなく、蓄積した外観の親しみと空間的コンテキストに依存している。
ScanNet++では、すべてのシーンで1つのエンドツーエンド検出を除いて、すべての設定で最高のIDF1を達成している。
論文 参考訳（メタデータ） (2026-07-10T10:30:50Z) - Online Episodic Memory Visual Query Localization with Egocentric Streaming Object Memory [17.305576093380168]
モデルがオンラインストリームを処理するタスクであるVisual Online 2D(OVQ2D)を導入し、各フレームを一度だけ観察し、完全なビデオ履歴ではなく、コンパクトなメモリを用いてオブジェクトのローカライゼーションを検索する。
他のオンラインアプローチよりもESOMビデオの方が優れていることを実証していますが、OVQ2Dは依然として挑戦的であり、最高のパフォーマンスはわずか4%の成功です。
論文 参考訳（メタデータ） (2024-11-25T21:07:25Z) - Spatial Cognition from Egocentric Video: Out of Sight, Not Out of Mind [39.226933837233744]
我々は、自我中心のカメラで捉えた観察により、アクティブな物体を3Dで追跡する。
我々は,この課題に対処するためのシンプルだが効果的なアプローチである Lift, Match, and Keep (LMK) を導入する。
LMKは、部分的な2D観察を3D世界座標に引き上げ、視覚的外観や3D位置、インタラクションを使って時間とともにマッチングしてオブジェクトのトラックを作り、カメラの外を見渡してもそれらのオブジェクトのトラックを維持できる。
論文 参考訳（メタデータ） (2024-04-07T21:00:14Z) - Human Mesh Recovery from Multiple Shots [85.18244937708356]
疑似地上真理3Dヒューマンメッシュを用いた長期シーケンスの3次元再構築とマイニングの改善のためのフレームワークを提案する。
得られたデータは,様々なメッシュ回復モデルのトレーニングに有用であることを示す。
編集メディアの大規模なライブラリーから3Dコンテンツを処理・分析するための扉を開くツールを開発した。
論文 参考訳（メタデータ） (2020-12-17T18:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。