論文の概要: GESTO: Human-Centric Spatio-Temporal Memory for Reasoning in Dynamic Scenes

• arxiv url: http://arxiv.org/abs/2608.10886v1
• Date: Tue, 11 Aug 2026 13:03:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.045929
• Title: GESTO: Human-Centric Spatio-Temporal Memory for Reasoning in Dynamic Scenes
• Title（参考訳）: GESTO:動的シーンにおける推論のための人間中心の時空間記憶
• Abstract要約: GESTOは原子間相互作用と目標駆動イベントの2レベル階層を持つ永続的な4次元シーングラフである。 RGB-D観測ストリームから、GESTOは自動的にタイムスタンプされたインタラクションを抽出し、永続的なシーンエンティティに基底を置き、イベントにグループ化し、不確実なオブジェクト関連を精査する。 リレーショナル・アウェア・ツール呼び出しエージェントは、アクティビティ中心の時間的推論のために結果のメモリをクエリする。
• 参考スコア（独自算出の注目度）: 38.63314517467021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robots operating in human environments need memories that capture not only what objects exist and where, but also how people use them over time and how individual interactions compose into goal-directed activities. Existing 4D scene graphs preserve object and place histories but omit activity structure, whereas activity representations are either not grounded in persistent 3D scenes or rely on externally provided event boundaries and object associations. We present GESTO (Grounded Event and Spatio-Temporal memOry), a spatio-temporal memory that couples a persistent 4D scene graph with a two-level hierarchy of atomic human--object interactions and goal-driven events. From an RGB-D observation stream, GESTO automatically extracts timestamped interactions, grounds them to persistent scene entities, groups them into events, and uses event context to refine uncertain object associations. A relation-aware tool-calling agent queries the resulting memory for activity-centric spatio-temporal reasoning. We evaluate GESTO on the reproducible text, binary, and time categories of an existing benchmark, together with 40 new Space2Event and Event2Space queries. GESTO achieves scores of 0.71, 0.75, and 0.70 on the standard categories, approaching a method supplied with ground-truth event and object grounding, while substantially outperforming the same reasoning framework when these inputs are removed. It further achieves 0.73 and 0.75 on Space2Event and Event2Space queries. Ablations show that hierarchical event structure and context-aware grounding refinement provide complementary benefits, supporting activity-grounded hierarchical memory for retrospective reasoning in dynamic human environments.
• Abstract（参考訳）: 人間の環境で動くロボットは、どんな物体が存在し、どこにあるかだけでなく、人々がどのようにそれらを使うか、そして個々の相互作用がゴール指向のアクティビティにどのように構成されるかをキャプチャする記憶が必要です。 既存の4Dシーングラフはオブジェクトと場所の履歴を保存するが、活動構造は省略される。 GESTO(Grounded Event and Spatio-Temporal memOry)は原子間相互作用と目標駆動イベントの2レベル階層に永続的な4次元シーングラフを結合した時空間メモリである。 RGB-D観測ストリームから、GESTOは自動的にタイムスタンプされたインタラクションを抽出し、永続的なシーンエンティティに基底を置き、イベントにグループ化し、イベントコンテキストを使用して不確実なオブジェクト関連を精査する。 リレーショナル・アウェア・ツール呼び出しエージェントは、アクティビティ中心の時空間推論のために結果のメモリをクエリする。 既存のベンチマークの再現可能なテキスト、バイナリ、タイムカテゴリに対して、GESTOを40の新しいSpace2EventとEvent2Spaceクエリとともに評価する。 GESTOは標準カテゴリで0.71、0.75、0.70のスコアを達成し、地平線イベントとオブジェクトグラウンドで提供されるメソッドにアプローチする一方で、これらの入力が削除された場合と同様の推論フレームワークを大幅に上回っている。 さらにSpace2EventとEvent2Spaceのクエリで0.73と0.75を達成する。 アブレーションは、動的な人間環境下でのリフレクション推論において、階層的なイベント構造とコンテキスト認識の基底的改善は、アクティビティ基底の階層的記憶をサポートし、相補的な利点をもたらすことを示している。

関連論文リスト

• HitMem: Hierarchical Temporal 3D Memory with Multi-Modal Context-Aware Retrieval for Dynamic Environments [5.55387168911911]
  HitMemは階層的な時間的3Dメモリフレームワークで、マルチモーダルなコンテキスト認識検索機構を備えている。 HitMemはオブジェクトの移動精度を大幅に向上し、探索コストを低減し、動的環境におけるタスク実行性能を向上させる。
  論文  参考訳（メタデータ） (2026-09-01T09:09:21Z)
• ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine [83.02804728003862]
  Ambient Capture Engine (ACE)は、実家環境を空間的に、時間的に同期されたレコーディングスタジオに変換する。 ACEは、エゴセントリックでマルチビューのエクソセントリックなビデオ、フルボディと手の動き、オブジェクト幾何学と6-DoF軌道、オーディオ、信号を、統一されたマルチ感覚ストリームとして記録する。 データセットは、原子操作、家庭活動の長い水平鎖、人間とシーンの相互作用にまたがっており、ステップバイステップの指示よりもゴールレベルの自然な振る舞いを保っている。
  論文  参考訳（メタデータ） (2026-07-30T17:59:50Z)
• Articulated 3D Scene Graphs for Open-World Mobile Manipulation [55.97942733699124]
  本報告では, セマンティックな3次元シーングラフを構築するためのフレームワークであるMoMa-SGについて述べる。 新たな統合的ツイスト推定法を用いて調音モデルを推定する。 また,Arti4D-Semanticデータセットについても紹介する。
  論文  参考訳（メタデータ） (2026-02-18T10:40:35Z)
• Visual Grounding from Event Cameras [26.670030443187482]
  Talk2Eventは、イベントデータを使用した言語駆動のオブジェクトグラウンドのための最初の大規模ベンチマークである。 Talk2Eventは5,567のシーン、13,458の注釈付きオブジェクト、30,000以上の慎重に検証された参照式で構成されている。 我々はTalk2Eventを,ロボット工学や人間とAIのインタラクションといった分野にまたがる,マルチモーダルおよび時間的認識の促進の基盤として想定している。
  論文  参考訳（メタデータ） (2025-09-11T16:21:59Z)
• Talk2Event: Grounded Understanding of Dynamic Scenes from Event Cameras [26.670030443187482]
  Talk2Eventは、イベントベースの知覚において、言語駆動のオブジェクトグラウンドのための最初の大規模ベンチマークである。 我々は3万以上の検証された参照表現を提供し、それぞれに4つの基底属性を富ませる。 マルチ属性表現を動的に融合する属性認識基盤フレームワークであるEventReferを提案する。
  論文  参考訳（メタデータ） (2025-07-23T16:29:52Z)
• BYE: Build Your Encoder with One Sequence of Exploration Data for Long-Term Dynamic Scene Understanding [18.991160292960277]
  BYEはクラスに依存しない、シーン毎のクラウドエンコーダで、事前に定義されたカテゴリ、シェイププレファレンス、あるいは広範囲のアソシエーションデータセットの必要性を取り除く。 本稿では,視覚言語モデルとBYEのシーン固有の専門知識を組み合わせたアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2024-12-03T13:34:42Z)
• Spatio-Temporal Interaction Graph Parsing Networks for Human-Object Interaction Recognition [55.7731053128204]
  ビデオに基づくヒューマンオブジェクトインタラクションシーンでは、人間とオブジェクトの時間的関係をモデル化することが、ビデオに提示されるコンテキスト情報を理解するための重要な手がかりである。 実効時間関係モデリングでは、各フレームの文脈情報を明らかにするだけでなく、時間間の依存関係を直接キャプチャすることもできる。 外観特徴、空間的位置、意味情報のフル活用は、ビデオベースのヒューマンオブジェクトインタラクション認識性能を改善する鍵でもある。
  論文  参考訳（メタデータ） (2021-08-19T11:57:27Z)
• ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
  画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。 我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。 提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
  論文  参考訳（メタデータ） (2020-08-14T09:11:18Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。