論文の概要: R4DSG: Relative 4D Scene Graph Memory for Object-Centric Question Answering in Long Egocentric Video
- arxiv url: http://arxiv.org/abs/2608.11017v1
- Date: Tue, 11 Aug 2026 15:00:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.094042
- Title: R4DSG: Relative 4D Scene Graph Memory for Object-Centric Question Answering in Long Egocentric Video
- Title（参考訳）: R4DSG:ロング・エゴセントリックビデオにおけるオブジェクト中心質問応答のための相対的4次元シーングラフメモリ
- Abstract要約: R4DSGは、長いエゴセントリックなビデオのための相対的な4Dシーングラフメモリを導入している。
生のグラフシーケンスを保存する代わりに、R4DSGは動画をコンパクトなクエリ可能なメモリエントリに変換する。
EgoLifeQAの255項目のオブジェクト関連サブセットの評価では、質問のみの検索では、EgoRAG-Textよりも6.7ポイントの全体的な増加が見られた。
- 参考スコア（独自算出の注目度）: 30.04722863044265
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Long-horizon egocentric video is a rich substrate for wearable AI assistants, but object-centric questions such as where an item was moved, when it last changed state, or why it was relocated remain difficult because caption- and transcript-based memories rarely preserve persistent object identity or structured spatial change. Existing long-video QA methods mainly emphasize temporal grounding and clip retrieval, while prior 3D scene-graph methods typically assume stronger geometry than free-motion wearable RGB video provides, including point clouds, RGB-D input, posed views, sparse reconstruction, or reconstructed scenes. R4DSG introduces a relative 4D scene graph memory for long egocentric video. Instead of storing raw graph sequences, R4DSG converts video into compact queryable memory entries indexed by time, place, persistent objects, anchor-relative change, and local interaction context. The main idea is to separate stable anchors from dynamic objects, maintain persistent object identity across frames, and represent object state through anchor-relative transitions rather than a globally aligned world model. Built on recent RGB-only advances in promptable video segmentation, temporal propagation, and relative 3D lifting, the method produces a retrieval-ready memory directly usable for long-horizon question answering. Evaluation on a 255-question object-related subset from EgoLifeQA shows, under question-only retrieval, a 6.7-point overall gain over EgoRAG-Text and a 12.5-point gain on when questions, which highlights the value of temporally organized object memory. These results position relative 4D scene graphs as a practical memory substrate for wearable assistants, AR systems, and embodied multimedia agents. GitHub Page: https://dualtransparency.github.io/R4DSG/.
- Abstract（参考訳）: ロングホライゾン・エゴセントリックビデオは、ウェアラブルAIアシスタントのためのリッチな基盤であるが、アイテムがどこに移動されたか、最後に状態が変わったとき、なぜ移動されたのかといった、オブジェクト中心の質問は、キャプションとトランスクリプトベースの記憶が永続的なオブジェクトのアイデンティティや空間的変化をほとんど保持しないため、難しいままである。
既存の長ビデオQA手法は主に時間的接地とクリップの検索に重点を置いているが、従来の3Dシーングラフ法は、通常、ポイントクラウド、RGB-D入力、ポーズビュー、スパース再構成、再構成シーンを含む、フリーモーションウェアラブルRGBビデオよりも強力な幾何学を前提としている。
R4DSGは、長いエゴセントリックなビデオのための相対的な4Dシーングラフメモリを導入している。
生のグラフシーケンスを格納する代わりに、R4DSGは動画を時間、場所、永続オブジェクト、アンカー相対変化、ローカル相互作用コンテキストによってインデックス付けされた、コンパクトなクエリ可能なメモリエントリに変換する。
主なアイデアは、動的オブジェクトから安定したアンカーを分離し、フレーム間で永続的なオブジェクトのアイデンティティを保持し、グローバルに整合した世界モデルではなく、アンカー相対的な遷移を通してオブジェクトの状態を表現することである。
近年のRGBのみによるビデオセグメンテーション、時間的伝搬、相対的な3Dリフトの進歩に基づいて、長軸質問応答に利用できる検索可能なメモリを生成する。
EgoLifeQAの255点のオブジェクト関連サブセットの評価では、質問のみの検索では、EgoRAG-Textよりも6.7点の全体的なゲインと、時間的に整理されたオブジェクトメモリの価値を強調する12.5点のゲインが示される。
これらの結果は,4次元シーングラフをウェアラブルアシスタント,ARシステム,組込みマルチメディアエージェントの実用的なメモリ基板として位置づける。
GitHubページ:https://dualtransparency.github.io/R4DSG/。
関連論文リスト
- LongEgoRefer: A Benchmark for Long-Form Egocentric Video Referring Expression Comprehension [41.229006294351315]
LongEgoReferは、Ego4Dデータセットのロングフォームビデオから構築された新しいベンチマークである。
詳細な言語記述と、長い、ダイナミックなエゴセントリックな物語に埋め込まれた複雑な人間とオブジェクトの相互作用を示す。
それは、イベントが発生したときと、参照対象が拡張されたビデオシーケンス内に現れる場所の両方をモデルが識別する必要がある、要求のある時間的接地問題を定義する。
論文 参考訳（メタデータ） (2026-07-02T12:32:53Z) - Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning [77.7531245219403]
textscHomerは階層型オンラインメモリ探索および推論フレームワークである。
textscHomerの記憶は、生の知覚から繰り返される実体、明示的な時間的・因果関係と結びついた出来事まで、長いビデオのマルチスケール構造を反映している。
textscHomerは、M3-Bench-robot、M3-Bench-web、Video-MME-Longで$+5.5$、$+10.8$、$+4.4$ポイントで前のベストエージェントメソッドより優れている。
論文 参考訳（メタデータ） (2026-07-01T05:53:09Z) - EvoMemNav: Efficient Self-Evolving Fine-Grained Memory for Zero-Shot Embodied Navigation [81.54723508469617]
EvoMemNavは、ゼロショットエンボディナビゲーションのための効率的で自己進化的できめ細かいメモリフレームワークである。
VSMGraphは、セマンティックキューとトポロジ的関係を持つビューをルームビューオブジェクト階層に整理する。
GOAT-BenchとHM3Dのオブジェクト、テキスト記述、画像ゴールのモダリティによる実験は、SR/SPLにおいて一貫した利得を示している。
論文 参考訳（メタデータ） (2026-06-02T11:27:44Z) - SuperMemory-VQA: An Egocentric Visual Question-Answering Benchmark for Long-Horizon Memory [14.96864764261795]
SuperMemory-VQAは、実用的な長期記憶タスクでAIアシスタントを評価するデータセットである。
これには、同期RGBビデオ、音声の書き起こし、視線、IMU、SLAMトラジェクトリなど、AIメガネで記録された日常的な活動の52.9時間が含まれている。
対象と位置記憶,意図的リコール,視覚的シーンリコール,タイムライン再構築,会話記憶,コンテキスト内検索にまたがる4,853の質問応答対を構築した。
論文 参考訳（メタデータ） (2026-05-30T17:53:10Z) - Towards Spatio-Temporal World Scene Graph Generation from Monocular Videos [17.190262848866396]
本稿では,Action Genomeの映像をフィードフォワード3D再構成により4DシーンにアップグレードするデータセットであるActionGenome4Dを紹介する。
次に、各タイムスタンプでワールドシーングラフを構築するタスクであるワールドシーングラフ生成(WSGG)を定式化する。
我々は3つの補完的手法を提案し、それぞれが観測されていない物体について推論するための異なる帰納バイアスを探索する。
論文 参考訳（メタデータ） (2026-03-13T17:18:03Z) - Point3R: Streaming 3D Reconstruction with Explicit Spatial Pointer Memory [72.75478398447396]
我々は,高密度ストリーミング3D再構成を目的としたオンラインフレームワークであるPoint3Rを提案する。
具体的には、現在のシーンの3次元構造に直接関連した空間ポインタメモリを明示的に保持する。
本手法は,訓練コストの低い各種タスクにおいて,競争力や最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-07-03T17:59:56Z) - Representing Long Volumetric Video with Temporal Gaussian Hierarchy [80.51373034419379]
本稿では,多視点RGBビデオから長いボリューム映像を再構成することの課題を解決することを目的とする。
本稿では,テンポラルガウス階層(Temporal Gaussian Hierarchy)と呼ばれる新しい4次元表現を提案する。
この研究は、最先端のレンダリング品質を維持しながら、ボリュームビデオデータの分を効率的に処理できる最初のアプローチである。
論文 参考訳（メタデータ） (2024-12-12T18:59:34Z) - MAMBA4D: Efficient Long-Sequence Point Cloud Video Understanding with Disentangled Spatial-Temporal State Space Models [14.024240637175216]
状態空間モデル(SSM)に基づく新しいポイントクラウドビデオ理解バックボーンを提案する。
具体的には,まず空間と時間を4次元ビデオシーケンスで切り離し,設計したマンバブロックと空間的時間的相関を確立する。
提案手法は, 87.5%のGPUメモリ削減と5.36倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-05-23T09:08:09Z) - Memory-based Adapters for Online 3D Scene Perception [71.71645534899905]
従来の3Dシーン認識手法はオフラインである。
本稿では,3次元シーン認識モデルのバックボーンのためのアダプタベースのプラグアンドプレイモジュールを提案する。
私たちのアダプタは、さまざまなタスクのメインストリームのオフラインアーキテクチャに簡単に挿入でき、オンラインタスクのパフォーマンスを大幅に向上できます。
論文 参考訳（メタデータ） (2024-03-11T17:57:41Z) - Local-Global Context Aware Transformer for Language-Guided Video
Segmentation [103.35509224722097]
言語誘導ビデオセグメンテーション(LVS)の課題について検討する。
そこで我々は,Transformerアーキテクチャを有限メモリで拡張し,動画全体を言語表現で効率的にクエリするLocaterを提案する。
LVSモデルの視覚的接地能力を徹底的に検討するため、新しいLVSデータセットであるA2D-S+をA2D-Sデータセット上に構築する。
論文 参考訳（メタデータ） (2022-03-18T07:35:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。