論文の概要: Can a Frontier VLM Serve as a Robot Policy for Memory-Dependent Manipulation?
- arxiv url: http://arxiv.org/abs/2610.17350v2
- Date: Fri, 16 Oct 2026 02:37:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.530118
- Title: Can a Frontier VLM Serve as a Robot Policy for Memory-Dependent Manipulation?
- Title(参考訳): 記憶依存マニピュレーションのためのロボット政策としてのフロンティアVLM
- Abstract要約: 我々は,RoboMMEのロボットポリシーとして,凍結フロンティア視覚言語モデル GPT-6-Astra を直接使用した。
800回のテストでは92.1%で成功し、前回の報告では90.5%だった。
結果は、長期計画、メモリ、エンドエフェクタコントロールの通常の分割を曖昧にします。
- 参考スコア(独自算出の注目度): 4.625296998318167
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We use a frozen frontier vision-language model, GPT-6-Astra, directly as the robot policy on RoboMME, a benchmark of 16 memory-dependent manipulation tasks spanning temporal, spatial, object, and procedural memory. The model keeps the whole episode in context and outputs every end-effector waypoint and gripper command, with no RoboMME-specific training. On the 800 test episodes it succeeds in 92.1%, above the previously reported human score of 90.5%, which was obtained with an oracle skill interface, and far ahead of the best leaderboard entry (60.8%) and of a hierarchical system that pairs the same model with a RoboMME-trained policy (79.1%). It matches or exceeds the human score on 13 of the 16 tasks. Its 63 failures concentrate in two tasks and are mostly premature completions and mistimed or unintended button presses. These results blur the usual division between long-horizon planning, memory and end-effector control, and raise the question of how much of this stack a single general-purpose model can take over in embodied systems. Project website: https://embodied-astra.github.io. Code, prompts and all episode logs: https://github.com/jackbjed/embodied-astra-robomme.
- Abstract(参考訳): 我々は、時間、空間、オブジェクト、手続き記憶にまたがる16のメモリ依存操作タスクのベンチマークであるRoboMMEのロボットポリシーとして、凍結フロンティア視覚言語モデルであるGPT-6-Astraを直接使用した。
モデルはエピソード全体をコンテキストに保持し、RoboMME固有のトレーニングなしで、すべてのエンドエフェクタのウェイポイントとグリップパーコマンドを出力する。
800回の試験では92.1%で成功し、前回報告された90.5%の人的得点を上回り、最高のリーダーボードのエントリー(60.8%)とRoboMMEのトレーニングされたポリシー(79.1%)と組み合わせた階層システムよりもはるかに上回った。
16のタスクのうち13のタスクで人間のスコアと一致またはオーバーします。
63の障害は2つのタスクに集中しており、ほとんどは未熟な完了と、誤動作または意図しないボタンプレスである。
これらの結果は、長期計画とメモリとエンドエフェクタ制御の通常の分割を曖昧にし、このスタックのどれ程を1つの汎用モデルが具体化システムで引き継ぐことができるのかという疑問を提起する。
プロジェクトサイト: https://embodied-astra.github.io
コード、プロンプト、全エピソードログ:https://github.com/jackbjed/embodied-astra-robomme。
関連論文リスト
- Long-WAM: Scaling the Context of World-Action Models [67.37382442651268]
Long-WAMは、リアルタイム制御制約の下で因果世界アクションモデルのコンテキストをスケールするためのフレームワークである。
まず、アクションラベルのないロボットやエゴセントリックなビデオから因果予測を学習し、世界行動適応時のこの歴史と未来構造を保存する。
論文 参考訳(メタデータ) (2026-10-07T17:58:04Z) - One from Infinity: Actualizing Futures from Pretrained World Models into Robot Actions [52.542279563757724]
映像の世界モデルでは、シーンの多くの有望な未来が認められるが、ロボットは正確なタスク条件に気付く必要がある。
我々は、このタスクを現実化として形式化し、フリーズワールドモデルによって提供された事前のタスク条件の選択と実現を学習する。
我々は,冷凍世界モデルエンコーダ上に,最大60万パラメータのRoboActualizerを実装した。
現実化器は2つの軽量なDiT専門家で構成されており、将来的な潜伏剤とフローマッチングによるアクションを共同で予測する。
論文 参考訳(メタデータ) (2026-09-29T00:05:24Z) - RoboICL: Embodied In-Context Learning with GPT-6 Astra [37.172714774429004]
汎用視覚言語モデルは、ゼロショットロボットの制御に有望な方法を提供する。
本稿では,コンテキスト内ロボット制御フレームワークであるemphRoboICLを紹介する。
RoboICLは、公式のゼロショットgptastraを20-27のプログレススコアポイントで改善する。
論文 参考訳(メタデータ) (2026-09-28T04:07:36Z) - PonderPounce: A Pretrained MLLM as an Episode Context Engine for Robot Control [25.920573627524945]
PonderPounceはMLLMのネイティブ因果コンテキストをロボットメモリとして再利用する。
パウンスは現在の観察、指示、受容を直接受け取ります。
ベーススケールのトレーニングデータを持つRoboMMEでは、PonderPounceは同じPounceアーキテクチャとインターフェースの下で、9Bで60.83%、0.8Bで50.04%に達する。
論文 参考訳(メタデータ) (2026-08-25T06:24:36Z) - Hierarchical Fast-Slow ReAct Agent for Zero-Shot Object-Goal Navigation [3.8281938955545587]
ゼロショットのオブジェクトゴールナビゲーションでは、ロボットが入力したことのない建物の中で名前の付いたオブジェクトカテゴリーを見つける必要がある。
我々は、ロボットがすでに見たものを熟考の対象にするシステムを開発した。
我々のシステムは、HM3D v1 val valで68.75%、MP3Dで47.29%に達する。
論文 参考訳(メタデータ) (2026-08-10T16:34:26Z) - WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation [49.31386176285509]
WatchActは、観察された人間の行動に基づくロボット操作のベンチマークである。
WatchActは4つの機能ドメインで14タスクにわたる3,000のロングホライゾンインスタンスで構成されている。
シミュレーションとFranka Research 3ロボットの両方で、現在のシステムはWatchActの解決には程遠い。
論文 参考訳(メタデータ) (2026-06-24T23:13:56Z) - MemoryVAM: Integrating Memory into Video Action Model for Robot Manipulation [32.07039868974098]
本稿では,ビデオワールドモデルポリシーのためのエピソードメモリ機構であるMemoryVAMを提案する。
我々はRecap-Cue(RC)モジュールを使用し、PerceiverベースのRecapはフレーム単位のCLIPをコンパクトなメモリトークンにマップする。
これらのトークンはビデオバックボーンとアクションデコーダの両方に注入され、ポリシーのイマジネーションとエピソードの進行と履歴の条件付けとを一致させる。
論文 参考訳(メタデータ) (2026-06-13T08:54:52Z) - MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation [59.31354761628506]
このようなタスクは本質的にマルコフ的ではないが、主流のVLAモデルはそれを見落としているため、ロボット操作には時間的コンテキストが不可欠である。
本稿では,長距離ロボット操作のためのコグニション・メモリ・アクション・フレームワークであるMemoryVLAを提案する。
本稿では,3つのロボットを対象とした150以上のシミュレーションと実世界のタスクについて評価する。
論文 参考訳(メタデータ) (2025-08-26T17:57:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。