論文の概要: Rethinking Progression of Memory State in Robotic Manipulation: An Object-Centric Perspective
- arxiv url: http://arxiv.org/abs/2511.11478v2
- Date: Tue, 18 Nov 2025 01:32:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-19 13:59:16.682947
- Title: Rethinking Progression of Memory State in Robotic Manipulation: An Object-Centric Perspective
- Title（参考訳）: ロボットマニピュレーションにおける記憶状態の進展を再考する:オブジェクト中心の視点
- Abstract要約: 物体レベルの部分観測性の下でのストレステストロボット操作のための非マルコフタスクスイートであるLIBERO-Memを紹介する。
短軸と長軸の物体追跡と時間的に順序付けられたサブゴールを組み合わせ、現在のフレームを超えて推論を必要とする。
Embodied-SlotSSMは時間的拡張性のために構築されたスロット中心のVLAフレームワークである。
- 参考スコア（独自算出の注目度）: 16.541717037293278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As embodied agents operate in increasingly complex environments, the ability to perceive, track, and reason about individual object instances over time becomes essential, especially in tasks requiring sequenced interactions with visually similar objects. In these non-Markovian settings, key decision cues are often hidden in object-specific histories rather than the current scene. Without persistent memory of prior interactions (what has been interacted with, where it has been, or how it has changed) visuomotor policies may fail, repeat past actions, or overlook completed ones. To surface this challenge, we introduce LIBERO-Mem, a non-Markovian task suite for stress-testing robotic manipulation under object-level partial observability. It combines short- and long-horizon object tracking with temporally sequenced subgoals, requiring reasoning beyond the current frame. However, vision-language-action (VLA) models often struggle in such settings, with token scaling quickly becoming intractable even for tasks spanning just a few hundred frames. We propose Embodied-SlotSSM, a slot-centric VLA framework built for temporal scalability. It maintains spatio-temporally consistent slot identities and leverages them through two mechanisms: (1) slot-state-space modeling for reconstructing short-term history, and (2) a relational encoder to align the input tokens with action decoding. Together, these components enable temporally grounded, context-aware action prediction. Experiments show Embodied-SlotSSM's baseline performance on LIBERO-Mem and general tasks, offering a scalable solution for non-Markovian reasoning in object-centric robotic policies.
- Abstract（参考訳）: エンボディエージェントはますます複雑な環境で機能するので、視覚的に類似したオブジェクトとシーケンスされた相互作用を必要とするタスクにおいて、時間とともに個々のオブジェクトインスタンスを知覚し、追跡し、推論する能力は不可欠である。
これらの非マルコフ的な設定では、重要な決定の手がかりは、しばしば現在のシーンではなく、オブジェクト固有の歴史の中に隠される。
以前のインタラクションの永続的な記憶がなければ、ビジュモータポリシーは失敗したり、過去のアクションを繰り返したり、完了したものを見落としたりすることがある。
この課題を解決するために,物体レベルの部分観測性の下でのストレステストロボット操作のための非マルコフタスクスイートであるLIBERO-Memを紹介する。
短軸と長軸の物体追跡と時間的に順序付けられたサブゴールを組み合わせ、現在のフレームを超えて推論を必要とする。
しかしながら、視覚言語アクション(VLA)モデルはそのような設定でしばしば苦労し、数百フレームのタスクであってもトークンのスケーリングは急速に難航する。
Embodied-SlotSSMは時間的拡張性のために構築されたスロット中心のVLAフレームワークである。
1)短期履歴を再構築するためのスロット状態空間モデリングと,(2)入力トークンをアクションデコードに整合させるリレーショナルエンコーダである。
これらのコンポーネントは同時に、時間的に基礎付けられたコンテキスト対応のアクション予測を可能にする。
実験では、Embodied-SlotSSMのLIBERO-Memおよび一般的なタスクにおけるベースラインのパフォーマンスを示し、オブジェクト指向ロボットポリシーにおける非マルコフ推論のためのスケーラブルなソリューションを提供する。
関連論文リスト
- EventVLA: Event-Driven Visual Evidence Memory for Long-Horizon Vision-Language-Action Policies [68.812675280427]
EventVLAは、疎視的エビデンスメモリの概念に基づいて開発されたエンドツーエンドフレームワークである。
KEMは、VLAの潜伏した埋め込みから将来の確率を直接予測し、スパースでタスククリティカルな視覚イベントを自律的にキャプチャして保存する。
対話型視覚的エビデンスで非マルコフ操作タスクを評価するための診断ベンチマークであるRoboTwin-MeMを提案する。
論文 参考訳（メタデータ） (2026-06-18T11:11:37Z) - OFlow: Injecting Object-Aware Temporal Flow Matching for Robust Robotic Manipulation [55.56490813640669]
VLAモデルは典型的には現在のフレームにのみ作用するが、将来の予測とオブジェクト認識推論は別々の潜在空間でしばしば学習される。
本稿では,時間的フォアシークエンスとオブジェクト認識推論を共通化することで,制約に対処するフレームワークOFlowを提案する。
提案手法は, 時間的フローマッチングを用いて将来の潜伏者を予測し, 物理的に関係のある手がかりを強調するオブジェクト認識表現に分解する。
論文 参考訳（メタデータ） (2026-04-20T06:38:01Z) - Beyond Short-Horizon: VQ-Memory for Robust Long-Horizon Manipulation in Non-Markovian Simulation Benchmarks [96.60530830276281]
RuleSafeは、スケーラブルなLLM支援シミュレーションフレームワーク上に構築された、新しいオペレーティングベンチマークである。
VQ-Memoryはベクトル量子化変分オートエンコーダを用いたコンパクトで構造化された時間表現である。
論文 参考訳（メタデータ） (2026-03-10T11:13:54Z) - RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies [54.23445842621374]
記憶は、長い水平と歴史に依存したロボット操作にとって重要である。
近年,視覚言語アクション(VLA)モデルにメモリ機構が組み込まれ始めている。
本稿では,VLAモデルの評価と進展のための大規模標準ベンチマークであるRoboMMEを紹介する。
論文 参考訳（メタデータ） (2026-03-04T21:59:32Z) - Non-Markovian Long-Horizon Robot Manipulation via Keyframe Chaining [56.62125584296097]
Keyframe-Chaining VLAは、キー履歴フレームを抽出し、長い水平依存関係をモデル化するフレームワークである。
本研究では,現在の実行フェーズに対する時間的関連性に基づいて,動的に履歴フレームを検索する進捗対応機構を設計する。
タスク成功率を測定するために,ManiSkillシミュレータ上に構築された4つの非マルコフ操作タスクスイートを紹介する。
論文 参考訳（メタデータ） (2026-03-02T05:26:29Z) - Action-Sketcher: From Reasoning to Action via Visual Sketches for Long-Horizon Robotic Manipulation [37.76888706583038]
長距離ロボット操作は、現実世界の展開においてますます重要になっている。
既存のエンドツーエンドおよび階層的なビジョン・ランゲージ・アクションポリシーは、しばしばテキストのみの手がかりに依存している。
ロボットの現在のビューに、ポイント、ボックス、矢印、型付き関係を描画する、不可解な視覚中間体であるVisual Sketchを導入する。
本稿では,サイクリックSee-Think-Sketch-Actワークフローで動作するVLAフレームワークであるAction-Sketcherを紹介する。
論文 参考訳（メタデータ） (2026-01-04T17:53:42Z) - Online Segment Any 3D Thing as Instance Tracking [60.20416622842975]
オンライン3Dセグメンテーションをインスタンス追跡問題として再認識する(AutoSeg3D)。
視覚基礎モデルに固有の断片化問題を緩和するために,空間整合性学習を導入する。
ScanNet200上でESAMを2.8 AP上回る新しい最先端技術を確立する。
論文 参考訳（メタデータ） (2025-12-08T14:48:51Z) - SlotVLA: Towards Modeling of Object-Relation Representations in Robotic Manipulation [15.877350929231158]
我々は、より構造化され、効率的で、説明可能なビジュモータ制御のための経路として、オブジェクトリレーション中心の表現について研究する。
まず,ロボット操作におけるオブジェクト関係推論の実現と評価を目的とした,詳細なベンチマークデータセットであるLIBERO+を紹介する。
次に,SlotVLAを提案する。SlotVLAは,オブジェクトと動作復号化の関係をキャプチャするスロットアテンションベースのフレームワークである。
論文 参考訳（メタデータ） (2025-11-10T06:33:44Z) - rt-RISeg: Real-Time Model-Free Robot Interactive Segmentation for Active Instance-Level Object Understanding [7.264443471771696]
本稿では,ロボット同士の相互作用によって見えない物体を連続的に分割する,新しいリアルタイム対話型知覚フレームワークrt-RISegを提案する。
ランダムにサンプリングされた物体フレームの相対的な回転速度と線形速度は,ロボット同士の相互作用によって,学習されたセグメンテーションモデルなしで物体を識別できることを示す。
本稿では,従来のUOIS法よりも平均物体分割精度を27.5%向上させることにより,対話的知覚法の有効性を示す。
論文 参考訳（メタデータ） (2025-07-14T20:02:52Z) - FindingDory: A Benchmark to Evaluate Memory in Embodied Agents [49.18498389833308]
本研究では,Habitatシミュレータに長距離エンボディタスクのための新しいベンチマークを導入する。
このベンチマークは、持続的なエンゲージメントとコンテキスト認識を必要とする60タスクにわたるメモリベースの機能を評価する。
論文 参考訳（メタデータ） (2025-06-18T17:06:28Z) - Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection [56.66677293607114]
オープンセットのリアクティブかつアクティブな障害検出のためのCode-as-Monitor(CaM)を提案する。
モニタリングの精度と効率を高めるために,制約関連エンティティを抽象化する制約要素を導入する。
実験により、CaMは28.7%高い成功率を達成し、厳しい乱れの下で実行時間を31.8%短縮することが示された。
論文 参考訳（メタデータ） (2024-12-05T18:58:27Z) - Transformer Network for Multi-Person Tracking and Re-Identification in
Unconstrained Environment [0.6798775532273751]
マルチオブジェクトトラッキング(MOT)は、監視、スポーツ分析、自動運転、協調ロボットなど、さまざまな分野に深く応用されている。
我々は、オブジェクト検出とアイデンティティリンクを単一のエンドツーエンドのトレーニング可能なフレームワーク内にマージする統合MOT手法を提唱した。
本システムでは,記憶時記憶モジュールの高機能化を図り,アグリゲータを用いて効果的に記憶時記憶モジュールを符号化する。
論文 参考訳（メタデータ） (2023-12-19T08:15:22Z) - Betrayed by Attention: A Simple yet Effective Approach for Self-supervised Video Object Segmentation [76.68301884987348]
自己教師型ビデオオブジェクトセグメンテーション(VOS)のための簡易かつ効果的なアプローチを提案する。
我々の重要な洞察は、DINO-pretrained Transformerに存在する構造的依存関係を利用して、ビデオ内の堅牢な時間分割対応を確立することである。
提案手法は,複数の教師なしVOSベンチマークにまたがる最先端性能を実証し,複雑な実世界のマルチオブジェクトビデオセグメンテーションタスクに優れることを示す。
論文 参考訳（メタデータ） (2023-11-29T18:47:17Z) - Modeling Long-horizon Tasks as Sequential Interaction Landscapes [75.5824586200507]
本稿では,一連のデモビデオからのみ,サブタスク間の依存関係と遷移を学習するディープラーニングネットワークを提案する。
これらのシンボルは、画像観察から直接学習し、予測できることが示される。
我々は,(1)人間によって実行されるパズル片のブロック積み重ね,(2)物体のピック・アンド・プレイスとキャビネットドアを7-DoFロボットアームで滑らせるロボット操作という,2つの長期水平作業において,我々の枠組みを評価する。
論文 参考訳（メタデータ） (2020-06-08T18:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。