論文の概要: STVLA: Spatial-aware and Temporal-memory forVision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2611.16589v1
- Date: Thu, 12 Nov 2026 10:21:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.445027
- Title: STVLA: Spatial-aware and Temporal-memory forVision-Language-Action Models
- Title(参考訳): STVLA:空間認識と時空間記憶による視覚・言語・行動モデル
- Abstract要約: 本稿では,事前学習された視覚幾何学基礎モデルから時間記憶に特徴を組み込むフレームワークであるSTVLAを紹介する。
情報的履歴を選択するために、STVLAは、現在の観測と相補的な記憶からの証拠との関連性のバランスをとる数学的根拠付きスコアリングルールを使用している。
- 参考スコア(独自算出の注目度): 11.743789774193099
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robotic manipulation often requires both spatial scene understanding and task history. However, many vision-language-action (VLA) policies rely primarily on current observations, without explicitly integrating spatial structure and task history. Appearance-based memories can be sensitive to occlusion and viewpoint changes, while spatial representations of the current scene alone do not preserve how the scene has changed during task execution. We introduce STVLA, a framework that incorporates features from a pretrained visual geometry foundation model into temporal memory alongside visual representations. This allows the policy to recall past scene structure as context for current action decisions. To select informative history, STVLA uses a mathematically grounded scoring rule that balances relevance to the current observation with complementary evidence from memory. Across evaluations on LIBERO, LIBERO-Mem, MIKASA-Robo, and SimplerEnv Bridge, STVLA achieves the highest average success rate among the compared methods on each benchmark. On real-world block stacking, object organization, and phone packaging, it improves success over $π_{0.5}$ by $58.33$, $30.00$, and $35.00$ percentage points, respectively. These results support integrating scene geometry into temporal memory to improve manipulation requiring both spatial precision and task history. Project website: \href{https://stvla.github.io/}{https://stvla.github.io/}
- Abstract(参考訳): ロボット操作は、しばしば空間的シーン理解とタスク履歴の両方を必要とする。
しかしながら、多くの視覚言語アクション(VLA)ポリシーは、空間構造とタスク履歴を明示的に統合することなく、主に現在の観測に依存している。
出現に基づく記憶は、隠蔽や視点の変化に敏感であるが、現在のシーンの空間的表現だけでは、タスク実行中にシーンがどのように変化したかは保存されない。
STVLAは、事前学習された視覚幾何学基礎モデルから、視覚表現と並行して時間記憶に特徴を組み込むフレームワークである。
これにより、ポリシーは現在のアクション決定のコンテキストとして過去のシーン構造をリコールすることができる。
情報的履歴を選択するために、STVLAは、現在の観測と相補的な記憶からの証拠との関連性のバランスをとる数学的根拠付きスコアリングルールを使用している。
STVLAは, LIBERO, LIBERO-Mem, MIKASA-Robo, SimplerEnv Bridgeの評価において, 各ベンチマークで比較した平均成功率を達成している。
実世界のブロック・スタックング、オブジェクト・オーガナイゼーション、電話のパッケージングでは、それぞれ$π_{0.5}$58.33$、$30.00$、$35.00$%以上の成功を達成している。
これらの結果は、空間的精度とタスク履歴の両方を必要とする操作を改善するために、シーン幾何学を時間記憶に統合することを支援する。
プロジェクトウェブサイト: \href{https://stvla.github.io/}{https://stvla.github.io/}
関連論文リスト
- Robocasa-Mem: Benchmarking Environment and Process Memory in Long-Horizon Mobile Manipulation [73.99136991087873]
本稿では,モバイル操作タスクのベンチマークであるRoboCasa-Memを紹介する。
ベンチマーク、すなわち階層型メモリ拡張ポリシー(HMAP)のベースラインも開発しています。
RoboCasa-MemとHMAPベースラインは、メモリ依存行動の体系的評価と、メモリ対応モバイル操作ポリシーの開発をサポートする。
論文 参考訳(メタデータ) (2026-11-04T13:16:32Z) - MOST: Memory of Object States and Task Progress for Long-Horizon Mobile Manipulation [70.8752415309786]
長期的なエージェントは、単に記憶するだけでなく、タスクに関連する状態の変化や進捗を思い出すことによっても利益がある、と我々は主張する。
本稿では,多視点観測を時間トークンに圧縮するポリシ内部メモリフレームワークである,オブジェクト状態とタスクプログレス(MOST)を提案する。
論文 参考訳(メタデータ) (2026-10-31T08:28:53Z) - GeoMem-VLA: Internalizing 3D Scene Understanding into Temporal Memory for Vision-Language-Action Models [12.76311540066132]
VLAフレームワークであるGeoMem-VLAを導入する。
推論では、ポリシーは過去の表現を検索し、現在の動作表現と融合してアクションを予測する。
現実世界の5つのタスクの中で、GeoMem-VLAは平均78.0%の成功を達成した。
論文 参考訳(メタデータ) (2026-10-21T15:23:18Z) - Plan First, Act Later: Streaming Reasoning for Executable Memory in Robot Control [9.378631606685452]
ロングホライズンロボットの操作は、ロボットが短い観察窓を越えてタスク関連情報を記憶する必要がある。
既存のメモリ拡張ポリシは、通常、履歴から関連する情報を取得し、実行時にそれについて推論する。
視覚言語ロボット操作のための階層型メモリフレームワークであるPALを提案する。
論文 参考訳(メタデータ) (2026-10-21T07:27:58Z) - SENRI: Understanding the Space-Event Nexus in Real-Life Videos [62.579359006599326]
SENRIは、長い、連続した実生活のエゴセントリックなビデオの中で、宇宙空間の接続を研究するタスクである。
Event$rightarrow$Spaceはイベントキューから空間的知識を回復し、Space$rightarrow$Eventはリージョンとトラジェクトリからイベントを検索する。
我々はSENRI-Benchを構築し、約25.3時間のコンテンツを持つ10の未中断の自己記録ビデオに500の注釈付き複数選択質問を含む。
論文 参考訳(メタデータ) (2026-10-18T14:41:41Z) - Divide-and-Remember: Recursive Action-Relevant Memory for Long-Horizon VLA Policies [23.758603689868153]
Divide-and-Rememberは、コンピュートライトを維持しながら長いコンテキストにスケールするメモリメソッドである。
最先端の平均的な成功率を達成し、64トークンの予算で4つのスイートすべてで一貫した利得を得る。
論文 参考訳(メタデータ) (2026-10-01T03:18:25Z) - EvoMemNav: Efficient Self-Evolving Fine-Grained Memory for Zero-Shot Embodied Navigation [81.54723508469617]
EvoMemNavは、ゼロショットエンボディナビゲーションのための効率的で自己進化的できめ細かいメモリフレームワークである。
VSMGraphは、セマンティックキューとトポロジ的関係を持つビューをルームビューオブジェクト階層に整理する。
GOAT-BenchとHM3Dのオブジェクト、テキスト記述、画像ゴールのモダリティによる実験は、SR/SPLにおいて一貫した利得を示している。
論文 参考訳(メタデータ) (2026-06-02T11:27:44Z) - Grounding by Remembering: Cross-Scene and In-Scene Memory for 3D Functional Affordances [23.103482730965595]
AFFORDMEMは、幾何学を2つのレベルで記憶することで、3D機能的余裕を基盤とするフレームワークである。
エージェントがシーンを処理すると、候補インスタンスとその3次元空間関係を構造化されたシーングラフに整理する。
スプリット0では3.23、スプリット1では3.7のトレーニング自由状態をAP50で改善する。
論文 参考訳(メタデータ) (2026-05-12T06:44:47Z) - RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies [54.23445842621374]
記憶は、長い水平と歴史に依存したロボット操作にとって重要である。
近年,視覚言語アクション(VLA)モデルにメモリ機構が組み込まれ始めている。
本稿では,VLAモデルの評価と進展のための大規模標準ベンチマークであるRoboMMEを紹介する。
論文 参考訳(メタデータ) (2026-03-04T21:59:32Z) - VMem: Consistent Interactive Video Scene Generation with Surfel-Indexed View Memory [55.73900731190389]
Surfel-Indexed View Memory (VMem) は、過去のビューを記憶するメモリモジュールであり、それらが観測した3次元表面要素(サーフェル)に基づいて幾何学的にインデックス化することで、過去のビューを記憶する。
VMemは、新しいビューを生成する際に、最も関連性の高い過去のビューを効率的に検索することを可能にする。
論文 参考訳(メタデータ) (2025-06-23T17:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。