論文の概要: RoboStream: Weaving Spatio-Temporal Reasoning with Memory in Vision-Language Models for Robotics

• arxiv url: http://arxiv.org/abs/2603.12939v1
• Date: Fri, 13 Mar 2026 12:34:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-21 18:33:56.761997
• Title: RoboStream: Weaving Spatio-Temporal Reasoning with Memory in Vision-Language Models for Robotics
• Title（参考訳）: RoboStream:ロボットの視覚言語モデルにおける空間時間推論と記憶の織り方
• Abstract要約: VLMベースのプランナーは、各ステップを観察とアクションのマッピングとして扱い、各決定点ごとに生のピクセルからシーンの幾何学を推論する。 SStream-Temporal Fusion Tokens (TF-Tokens) を提案する。 この設計により、プランナーは因果連鎖を追跡でき、追加の訓練や微調整をすることなく、隠蔽下でオブジェクトの永続性を維持することができる。
• 参考スコア（独自算出の注目度）: 25.944338247511215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enabling reliable long-horizon robotic manipulation is a crucial step toward open-world embodied intelligence. However, VLM-based planners treat each step as an isolated observation-to-action mapping, forcing them to reinfer scene geometry from raw pixels at every decision point while remaining unaware of how prior actions have reshaped the environment. Despite strong short-horizon performance, these systems lack the spatio-temporal reasoning required for persistent geometric anchoring and memory of action-triggered state transitions. Without persistent state tracking, perceptual errors accumulate across the execution horizon, temporarily occluded objects are catastrophically forgotten, and these compounding failures lead to precondition violations that cascade through subsequent steps. In contrast, humans maintain a persistent mental model that continuously tracks spatial relations and action consequences across interactions rather than reconstructing them at each instant. Inspired by this human capacity for causal spatio-temporal reasoning with persistent memory, we propose RoboStream, a training-free framework that achieves geometric anchoring through Spatio-Temporal Fusion Tokens (STF-Tokens), which bind visual evidence to 3D geometric attributes for persistent object grounding, and maintains causal continuity via a Causal Spatio-Temporal Graph (CSTG) that records action-triggered state transitions across steps. This design enables the planner to trace causal chains and preserve object permanence under occlusion without additional training or fine-tuning. RoboStream achieves 90.5% on long-horizon RLBench and 44.4% on challenging real-world block-building tasks, where both SoFar and VoxPoser score 11.1%, demonstrating that spatio-temporal reasoning and causal memory are critical missing components for reliable long-horizon manipulation.
• Abstract（参考訳）: 信頼性の高い長距離ロボット操作を実現することは、オープンワールドの具体化インテリジェンスにとって重要なステップだ。 しかしながら、VLMベースのプランナーは、各ステップを独立した観察から行動へのマッピングとして扱い、以前のアクションがどのように環境を形作り変えたかを知らないまま、各決定点の原画素からシーンの幾何学を再推定する。 短時間の強い性能にもかかわらず、これらのシステムは、永続的な幾何学的アンカーとアクショントリガー状態遷移の記憶に必要な時空間的推論を欠いている。 永続的な状態追跡がなければ、知覚的エラーは実行地平線を越えて蓄積され、一時的に無視されたオブジェクトは破滅的に忘れられ、これらの複合的な障害は、その後のステップでカスケードされる事前条件違反を引き起こす。 対照的に、人間は、それぞれの瞬間にそれらを再構築するのではなく、相互作用間の空間的関係や行動の結果を継続的に追跡する永続的な精神モデルを維持している。 この人間による因果的時空間推論能力に着想を得たRoboStreamは、時空間融合トークン(STF-Tokens)による幾何学的アンカーを実現するトレーニングフリーフレームワークで、視覚的エビデンスを3次元の幾何学的属性に結合し、時空間グラフ(CSTG)を介して因果的連続性を維持し、ステップ間でのアクショントリガー状態遷移を記録する。 この設計により、プランナーは因果連鎖を追跡でき、追加の訓練や微調整をすることなく、隠蔽下でオブジェクトの永続性を維持することができる。 RoboStreamはロングホライゾンのRLBenchで90.5%、現実世界のブロック構築タスクで44.4%を達成し、SoFarとVoxPoserはいずれも11.1%を獲得し、時空間推論と因果記憶が信頼できるロングホライゾン操作のための重要な欠落要素であることを示した。

関連論文リスト

• Human-Aware Target Tracking and Navigation: Fusing Kinematic State Estimation with Structural Map Constraints [3.9308813646788625]
  本研究は,地図インフォームド空間推論による目標閉塞に対処するエンド・ツー・エンドの自律ナビゲーションスタックを提案する。 提案システムは,2次元LiDAR点クラスタリングによる深層学習に基づく視覚的トラッキングを融合して,タグ付き人物の高忠実度追跡を行うマルチモーダル認識パイプラインを備える。 密集した多人数環境における実世界の評価は、システムの堅牢性を示し、71.4%の目標再獲得成功率を達成した。
  論文  参考訳（メタデータ） (2026-09-07T06:31:17Z)
• LT-Mem: Volatility-Aware Spatio-Temporal Memory for Lifelong Scene Understanding [3.1007425074240866]
  進化する環境における長期ロボット操作は、繰り返し再考されるオブジェクトレベルの理解を必要とする。 既存のシステムは、最新マップを維持するために履歴を上書きするか、一貫性のあるクロスセッションオブジェクトIDなしでセマンティックスナップショットを保存する。 本稿では、空間的に整合したインスタンスレベルの3次元知覚を、ボラティリティ条件付き時間的推論で統一する、ボラティリティ対応メモリ進化フレームワークLT-Memを提案する。
  論文  参考訳（メタデータ） (2026-08-19T15:56:53Z)
• Beyond Episodic Evaluation: Memory Architectural Bottlenecks in Sequential Embodied Question Answering [93.80043825360514]
  EQA(Embodied Question answering)は、伝統的にエピソードの定式化の下で評価され、エージェントは各タスクを独立して解決し、エピソード間の内部状態をリセットする。 EQAエージェントを逐次評価する際に異なるメモリアーキテクチャがどのように振る舞うかを検討する。 既存のメモリを単純に保存することは、しばしば不十分である。 連続したシーン表現の視覚的意味的証拠を3次元幾何学にマッピングするアーキテクチャについて, 構造的, 空間的基盤的記憶の必要性を強調した。
  論文  参考訳（メタデータ） (2026-07-23T17:50:45Z)
• Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy [79.09714980186278]
  非構造化環境で永続的なエンボディエージェントを構築するには、異種ツールの統一的なオーケストレーションが必要である。 我々は,多モーダルなセマンティックプランナを統合したフレームワークであるOmniActを紹介した。 すべての複雑性レベルにわたって、エンドツーエンドの成功において一貫した改善が達成されます。
  論文  参考訳（メタデータ） (2026-06-25T16:36:35Z)
• SCOUT: Semantic scene COverage via Uncertainty-guided Traversal [2.499955687541552]
  ほとんどの3Dシーングラフパイプラインは、一定のデータセット上での認識を後処理の段階として扱う。 このループを閉じるオンライン意味探索フレームワークSCOUTを紹介する。 SCOUTはセマンティック・シーンの完全性を,セマンティック・マッピングの受動的副産物ではなく,運用目的として扱う。
  論文  参考訳（メタデータ） (2026-06-04T21:13:33Z)
• Robust Dreamer: Deviation-Aware Latent Gaussian Memory for Action-Controlled AR Video Generation [89.70897512515477]
  アクション制御された画像対ビデオ生成は、インタラクティブな世界シミュレーションにおいて有望なパラダイムであり、各制御信号が即時視覚応答を誘発する。 長時間の自己回帰的なロールアウトに対する視覚的忠実さと3D一貫性を維持することは依然として難しい。 既存の3D認識手法は、textitLatent--RGB Cyclingからの情報損失と、textiterror-free仮説によって引き起こされるトレーニング-推論ギャップという2つの障害により、破滅的なドリフトに悩まされることが多い。 textbfRobust Dreamerという,メモリ拡張フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2026-05-29T05:21:33Z)
• Imagine2Real: Towards Zero-shot Humanoid-Object Interaction via Video Generative Priors [51.096845970243855]
  高忠実度3Dデータの不足により,全体Humanoid-Object Interaction (HOI) がボトルネックとなる。 本研究では,ゼロショットHOIフレームワークであるImagine2Realを提案する。
  論文  参考訳（メタデータ） (2026-05-21T10:15:39Z)
• ANCHOR: A Physically Grounded Closed-Loop Framework for Robust Home-Service Mobile Manipulation [10.278758849939917]
  本稿では,シンボル推論と物理状態の検証を行うクローズドループフレームワークANCHORを提案する。 ANCHORはタスクの成功率を53.3%から71.7%に改善し、摂動下での回復率は71.4%に達する。
  論文  参考訳（メタデータ） (2026-04-28T07:37:39Z)
• End-to-End Spatial-Temporal Transformer for Real-time 4D HOI Reconstruction [74.31251139839047]
  THOは、ビデオと3Dテンプレートから、人間の動きと調整された物体の動きを前方に予測する、エンドツーエンドの空間-時間変換器である。 実験により、THOは1つの4090 GPU上で31.5 FPSの推論速度で動作し、以前の最適化ベースの手法よりも600倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-03-15T15:21:36Z)
• OccSTeP: Benchmarking 4D Occupancy Spatio-Temporal Persistence [19.81329748424203]
  我々は4D Occupancy Spatio-Temporal Persistence(OccSTeP)という新しい概念を導入する。 この概念は,(1)反応予測:「何が起こるか」,(2)前向き予測:「特定の将来の行動が与えられたら何が起こるか」という2つの課題に対処することを目的としている。 OccSTeP-WMは,高密度なボクセルベースのシーン状態を維持し,時間とともに段階的に時間的コンテキストを融合するトークンフリー世界モデルである。
  論文  参考訳（メタデータ） (2025-12-17T17:29:20Z)
• ST-DETrack: Identity-Preserving Branch Tracking in Entangled Plant Canopies via Dual Spatiotemporal Evidence [0.7448758790630549]
  出芽から開花までの分岐アイデンティティを保護するために設計された2重デコーダネットワークST-DETrackを提案する。 我々のアーキテクチャは、空間的一貫性と、動きのあいまいさを生かした時間デコーダを統合している。 ST-DETrackは93.6%の分岐マッチング精度(BMA)を達成し、それぞれ28.9ポイントと3.3ポイントで空間的ベースラインと時間的ベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2025-12-17T13:42:34Z)
• RELIC: Interactive Video World Model with Long-Horizon Memory [74.81433479334821]
  真のインタラクティブな世界モデルは、リアルタイムの長距離ストリーミング、一貫した空間記憶、正確なユーザ制御を必要とする。 この3つの課題を完全に解決する統合フレームワークであるRELICを紹介します。 単一の画像とテキスト記述が与えられた後、RELICは任意のシーンをリアルタイムにメモリを意識した長期探索を可能にする。
  論文  参考訳（メタデータ） (2025-12-03T18:29:20Z)
• Rethinking Progression of Memory State in Robotic Manipulation: An Object-Centric Perspective [16.541717037293278]
  物体レベルの部分観測性の下でのストレステストロボット操作のための非マルコフタスクスイートであるLIBERO-Memを紹介する。 短軸と長軸の物体追跡と時間的に順序付けられたサブゴールを組み合わせ、現在のフレームを超えて推論を必要とする。 Embodied-SlotSSMは時間的拡張性のために構築されたスロット中心のVLAフレームワークである。
  論文  参考訳（メタデータ） (2025-11-14T16:56:01Z)
• Long-Context State-Space Video World Models [66.28743632951218]
  本稿では、状態空間モデル(SSM)を活用して、計算効率を損なうことなく時間記憶を拡張する新しいアーキテクチャを提案する。 我々の設計の中心はブロックワイズSSMスキャン方式であり、時間記憶の拡張のために空間整合性を戦略的にトレードオフする。 メモリ迷路とMinecraftのデータセットの実験は、我々のアプローチが長距離メモリ保存のベースラインを超えたことを示している。
  論文  参考訳（メタデータ） (2025-05-26T16:12:41Z)
• Spatio-Temporal Bi-directional Cross-frame Memory for Distractor Filtering Point Cloud Single Object Tracking [2.487142846438629]
  LIDARポイント内の1つのオブジェクトトラッキングは、コンピュータビジョンにおける重要なタスクである。 既存の手法は、ネットワーク経由の外観マッチングのみに依存するか、連続したフレームからの情報を利用するが、重大な課題に遭遇する。 我々は、これらの課題を緩和するために、STMD-Trackerという、革新的なクロスフレームバイテンポラルモーショントラッカーを設計する。
  論文  参考訳（メタデータ） (2024-03-23T13:15:44Z)
• Nothing Stands Still: A Spatiotemporal Benchmark on 3D Point Cloud Registration Under Large Geometric and Temporal Change [82.31647863785923]
  人工空間の3次元幾何学地図の構築は、基本的なコンピュータビジョンとロボット工学である。 Not Stands Still (NSS)ベンチマークは、大きな空間的および時間的変化を行う3Dシーンの時間的登録に焦点を当てている。 NSSの一環として,建設中または改修中の大規模建築屋内環境において,3次元点雲のデータセットを連続的に取得する。
  論文  参考訳（メタデータ） (2023-11-15T20:09:29Z)
• Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for Online Collision Avoidance [95.86944752753564]
  本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。 我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。 本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
  論文  参考訳（メタデータ） (2020-07-28T07:34:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。