論文の概要: Linguistic Trajectory Encoding for Efficient Long-Horizon Spatial Memory in Embodied Agents
- arxiv url: http://arxiv.org/abs/2609.04802v1
- Date: Fri, 04 Sep 2026 07:00:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.939684
- Title: Linguistic Trajectory Encoding for Efficient Long-Horizon Spatial Memory in Embodied Agents
- Title（参考訳）: 身体的エージェントの高効率長軸空間記憶のための言語軌道符号化
- Abstract要約: 長期タスクを実行するエージェントは、動的オブジェクトの状態遷移が自然言語でクエリ可能なままであるメモリ表現を必要とする。
主な貢献は textbfLinguistic Trajectory Linguistic Trajectory (LTE) である。
LTEは、自然言語の記述、スパース空間アンカー、視覚アンカーを組み合わせたハイブリッド表現を通じて、動的オブジェクトの動き履歴を圧縮する。
LTEはトラジェクトリ圧縮を8.7タイムから26.1タイムで達成し、24,hビデオで秒以下のクエリレイテンシを実現する。
- 参考スコア（独自算出の注目度）: 24.05637675858576
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embodied agents performing long-horizon tasks require a memory representation in which the state transitions of dynamic objects remain queryable in natural language across hours-to-days observation horizons. Existing systems either drop fine-grained motion (clip-level video-language embeddings), keep it only as raw coordinates (geometric SLAM), or organise it around immediate task context (agent working memories). None of them gives the agent a per-object timeline whose state transitions are themselves queryable in language. Our key contribution is \textbf{Linguistic Trajectory Encoding} (LTE), which compresses dynamic object motion histories via a hybrid representation combining natural language descriptions, sparse spatial anchors, and visual anchors. LTE adapts compression to motion complexity by anchoring periods without reliable observations to the last seen location, while representing motion with geometric waypoints and linguistic descriptions to preserve accuracy. To evaluate these capabilities across extended time horizons, we construct the \textbf{Spatial Memory Benchmark} (SMB) from EgoLife multi-day recordings, targeting capabilities absent in existing benchmarks: semantic trajectory retrieval and long-horizon object retrieval. On SMB, the LTE-based system achieves $45.3\%$ success in semantic trajectory retrieval and $48.7\%$ in long-horizon object retrieval, outperforming structured-memory and VLM baselines (best prior: $31.9\%$ and $34.4\%$). LTE achieves trajectory compression by factors of $8.7\times$ to $26.1\times$ with sub-second query latency on $24$\,h video. On Ego4D natural-language queries, the system reaches $28.75\%$ / $55.10\%$ R@1/R@5, $+15.80$ / $+31.30$ pts over EgoVLPv2.
- Abstract（参考訳）: 長時間の作業を行うエージェントは、動的オブジェクトの状態遷移が数時間から日々の観測地平線を越えて自然言語でクエリ可能なメモリ表現を必要とする。
既存のシステムは、きめ細かい動き(クリップレベルのビデオ言語埋め込み)を落とし、生の座標(幾何学的SLAM)としてのみ保持するか、即時タスクコンテキスト(エージェントの作業記憶)の周りに整理する。
いずれのエージェントも、状態遷移自体が言語でクエリ可能なオブジェクトごとのタイムラインを提供していません。
我々の重要な貢献は、自然言語記述、スパース空間アンカー、視覚アンカーを組み合わせたハイブリッド表現により、動的物体の動き履歴を圧縮する「textbf{Linguistic Trajectory Encoding} (LTE)」である。
LTEは、幾何的方向ポイントと言語記述で動きを表現し、精度を維持する一方で、最後に見られた場所を確実に観測することなく、周期を固定することで、動きの複雑さに圧縮を適用する。
EgoLifeのマルチデイ・レコードから,これらの機能を評価するために, セマンティック・トラジェクトリ・検索や長期オブジェクト検索など, 既存のベンチマークにはない機能をターゲットとした, textbf{Spatial Memory Benchmark} (SMB) を構築した。
SMBでは、LTEベースのシステムは、セマンティックトラジェクトリ検索において45.3\%$、ロングホライゾンオブジェクト検索では48.7\%$、構造化メモリとVLMベースライン(前回は31.9\%$と34.4\%$)を達成している。
LTEはトラジェクトリ圧縮を$8.7\times$から$26.1\times$で達成し、24$\hのビデオで秒以下のクエリレイテンシを実現する。
Ego4Dの自然言語クエリでは、システムは28.75\%$ / 5.5.10\%$ R@1/R@5, $+15.80$ / $+31.30$ pts over EgoVLPv2に達する。
関連論文リスト
- RAVEN: Long-Horizon Reasoning & Navigation with a Visuo-Spatio-Temporal Memory [10.92726806758712]
RAVENは、長距離ロボットによる質問応答とナビゲーションのためのエージェントメモリシステムである。
RAVENは、ベクトルデータベースにポーズと時間で視覚的な埋め込みを格納し、検索を空間マップに置き、クエリに応答する。
我々は、自然言語のゴール取得のための長距離ナビゲーションを行うために、Unitree Go1ロボット上でRAVENをインスタンス化する。
論文 参考訳（メタデータ） (2026-06-23T21:56:41Z) - Keep It in Mind: User Centric Continual Spatial Intelligence Reasoning in Egocentric Video Streams [58.77207336324662]
UCS-ベンチ (UCS-Bench) は、170時間以上のエゴセントリックな視覚観察と8.1K以上のタイムスタンプの質問のデータセットである。
我々は、ストリーミングエゴセントリックな観測から構造化空間記憶をインクリメンタルに構築し、維持するフレームワークであるDirectMeを提案する。
論文 参考訳（メタデータ） (2026-06-13T08:50:49Z) - GenericAgent: A Token-Efficient Self-Evolving LLM Agent via Contextual Information Density Maximization (V1.0) [56.81743709880371]
Long-Horizon Large Language Model (LLM) エージェントは、コンテキストによって根本的に制限される。
長い水平性能は、文脈長ではなく、有限の文脈予算内で意思決定関連情報がどれだけ維持されているかによって決定される。
我々は、情報密度とコンテキストの1つの原理に基づいて構築された汎用的自己進化型LLMエージェントシステムであるGenericAgent(GA)を提案する。
論文 参考訳（メタデータ） (2026-04-18T17:59:15Z) - Semantic Event Graphs for Long-Form Video Question Answering [0.0]
本稿では,ビデオと言語間の軽量なシンボリックインタフェースを提案する。
我々のパイプラインは、YOLOv11でオブジェクトを検出し追跡し、近接パターンをSTART/ENDのヒューマンオブジェクトイベントに変換し、それらをテンポラルシーングラフ(TSG)に整理する。
5つのYouTubeビデオ(それぞれ300-500のインタラクション)と120のロングホライゾンの質問が自動生成され、SEG 65.0%の精度はクエリ毎に3.47kトークンしか使用せず、全ログベースラインと密に一致し、トークン使用率を91.4%削減した。
論文 参考訳（メタデータ） (2026-01-02T00:11:03Z) - LAVA: Language Driven Scalable and Versatile Traffic Video Analytics [43.754808270319664]
自然言語クエリを受信し,トラフィックターゲットを検索するシステムであるtextscLava を構築した。
textscLavaは,1)ビデオセグメントレベルのローカライゼーションのためのマルチアームバンディットに基づく効率的なサンプリング手法,2)オブジェクトレベルの検索のためのビデオ固有のオープンワールド検出モジュール,3)時間的オブジェクト関連のための長期オブジェクト軌跡抽出方式の3つの主要コンポーネントから構成される。
論文 参考訳（メタデータ） (2025-07-26T06:38:07Z) - Long-RVOS: A Comprehensive Benchmark for Long-term Referring Video Object Segmentation [51.2732688481343]
本稿では,長期参照オブジェクトセグメンテーションのための大規模ベンチマークであるLongtextbf-RVOSを紹介する。
Long-RVOSには、平均時間60秒を超える2,000以上のビデオが含まれており、さまざまなオブジェクトをカバーしている。
フレーム単位の空間評価にのみ依存する従来のベンチマークとは異なり、時間的・時間的整合性を評価するために2つの指標を導入する。
論文 参考訳（メタデータ） (2025-05-19T04:52:31Z) - Temporally-Grounded Language Generation: A Benchmark for Real-Time Vision-Language Models [14.69446469340837]
視覚言語モデル(VLM)は、画像キャプションやビデオ質問応答などのオフラインタスクにおいて顕著な進歩を見せている。
リアルタイムの対話環境はVLMに新たな要求を課し、意味論的に正確であるだけでなく正確なタイミングで発話を生成する必要がある。
時間同期型インターリーブ(VLM-TSI)$.textbfVision-Languageモデルは、時間同期型で視覚的および言語的トークンをインターリーブするモデルである。
論文 参考訳（メタデータ） (2025-05-16T14:48:30Z) - SpaceVLLM: Endowing Multimodal Large Language Model with Spatio-Temporal Video Grounding Capability [58.46310813774538]
大規模言語モデル (LMLM) は時間的あるいは空間的局所化において顕著な進歩を遂げた。
しかし、彼らは時間的なビデオグラウンドの実行に苦慮している。
この制限は2つの大きな課題に起因している。
時間的ビデオグラウンドティングを具備したMLLMVLであるSpaceLMを紹介する。
論文 参考訳（メタデータ） (2025-03-18T07:40:36Z) - Learning Spatial-Semantic Features for Robust Video Object Segmentation [108.045326229865]
本稿では,空間意味的特徴と識別的オブジェクトクエリを学習する,ロバストなビデオオブジェクトセグメンテーションフレームワークを提案する。
DAVIS 2017 test (textbf87.8%)、YoutubeVOS 2019 (textbf88.1%)、MOSE val (textbf74.0%)、LVOS test (textbf73.0%)を含むベンチマークデータセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-07-10T15:36:00Z) - ObjectNLQ @ Ego4D Episodic Memory Challenge 2024 [51.57555556405898]
本稿では,CVPR 2024におけるEgo4D Episodic Memory Benchmarkの自然言語クエリトラックとゴールステップトラックについて紹介する。
どちらの課題も、テキストクエリを使って長いビデオシーケンス内のアクションをローカライズする必要がある。
我々は、オブジェクトブランチを組み込んだ新しいアプローチObjectNLQを導入し、ビデオ表現を詳細なオブジェクト情報で拡張する。
論文 参考訳（メタデータ） (2024-06-22T07:57:58Z) - Unified Static and Dynamic Network: Efficient Temporal Filtering for Video Grounding [56.315932539150324]
ビデオとテキスト/オーディオクエリ間の意味的関連を学習するために,Unified Static and Dynamic Network (UniSDNet) を設計する。
我々のUniSDNetは、NLVG(Natural Language Video Grounding)タスクとSLVG(Spoke Language Video Grounding)タスクの両方に適用できます。
論文 参考訳（メタデータ） (2024-03-21T06:53:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。