論文の概要: Robot Manipulation with GPT-6-Astra: Body Knowledge, Experience Reuse, Emergent Skills, and Sim2Real Transfer
- arxiv url: http://arxiv.org/abs/2609.31770v1
- Date: Thu, 24 Sep 2026 13:58:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 12:57:06.297156
- Title: Robot Manipulation with GPT-6-Astra: Body Knowledge, Experience Reuse, Emergent Skills, and Sim2Real Transfer
- Title(参考訳): GPT-6-Astraによるロボット操作: 身体知識, 経験的再利用, 創発的スキル, Sim2Real Transfer
- Abstract要約: GPT-6-Astra で制御された XLeRobot の体外知識, 経験, 実行能力の向上について検討した。
GPT-6-Astra周辺で汎用的な操作実験を構築するための実践的な方法が示唆された。
- 参考スコア(独自算出の注目度): 69.90442891409597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: General-purpose multimodal agents can write robot-control programs, but repeated exploration and model-mediated action selection can make execution slow. We study how external body knowledge, successful experience, and executable skills improve an XLeRobot controlled by GPT-6-Astra in a simulated and a physical elevator-button task. In 30 fixed-start simulation trials, complete robot geometry and camera information reduce mean completion time by 57.4% relative to a baseline with only the common control interface and no prior experience; images with synchronized action and state records reduce it by 68.6% without additional body assets. In nine paired comparisons (18 trials) at starts displaced by 10-100 cm, experience recorded at the original start reduces mean time by 58-63% relative to no experience, demonstrating generalization to the tested new starting positions. During experience experiments, GPT-6-Astra spontaneously generates a short visual-feedback program. Researcher-refactored versions reduce mean local-task time by 29-31% in 27 simulation trials. Finally, 12 real-robot trials using operator-confirmed button contact demonstrate sim2real reuse: at a shared nominal start, simulation XML assets and simulation experience reduce mean time by 53.0% and 49.9%, respectively; real experience also transfers to two new starts. These results suggest a practical way to build general-purpose manipulation experiments around GPT-6-Astra: supply machine-readable body descriptions and synchronized demonstrations, and turn useful agent-generated feedback routines into reusable skills, while the agent adapts actions from current images. We release all task prompts, trial-level experimental data, and acquired skill implementations at https://github.com/hesd10/astra-robot-sim2real.
- Abstract(参考訳): 汎用マルチモーダルエージェントはロボット制御プログラムを書くことができるが、反復探索とモデルによる行動選択は実行を遅くする。
GPT-6-Astra で制御される XLeRobot は, 外部の身体知識, 経験, 実行可能なスキルが, シュミレーションおよび物理的なエレベータボタンタスクにおいてどのように改善されるかを検討する。
30回の固定スタートシミュレーションでは、完全なロボット幾何学とカメラ情報により、共通制御インターフェースのみを持ち、事前経験のないベースラインに対して平均完了時間を57.4%削減し、同期されたアクションと状態記録を持つ画像は、追加のボディアセットなしで68.6%削減した。
開始時の9対の比較 (18 試験) では、10-100 cm のずれがみられ、最初の開始時に記録された経験は、経験のないものと比較して平均時間を58-63%減少させ、試験された新しい開始位置への一般化を実証した。
経験実験中、GPT-6-Astraは視覚フィードバックプログラムを自発的に生成する。
研究者がリファクタリングしたバージョンは、27回のシミュレーション試験で平均局所タスク時間を29~31%削減した。
最後に、オペレータ確認されたボタン接触を用いた12のリアルロボットトライアルは、sim2realの再利用を実証している: 共有された名目開始時に、シミュレーションXMLアセットとシミュレーション体験は平均時間をそれぞれ53.0%と49.9%削減し、実体験も2つの新しいスタートに移行する。
これらの結果から, GPT-6-Astra 周辺での汎用的な操作実験を実践的に構築する方法が示唆された。機械可読体記述と同期化デモを供給し, エージェント生成フィードバックルーチンを再利用可能なスキルに変換する一方で, エージェントは現在の画像からのアクションを適応させる。
我々は、すべてのタスクプロンプト、トライアルレベルの実験データ、そして、https://github.com/hesd10/astra-robot-sim2realでスキル実装を取得しました。
関連論文リスト
- Pre-training Visual Dexterity in Simulation [67.17477115017896]
シミュレーションで完全に収集されたデータを利用するデクスタラスな操作のための事前学習フレームワークを導入する。
5人のオペレーターの助けを借りて、1週間にわたって75時間のマルチタスク・デキスタラスな操作を収集し、配列モデリングの目的に基づいて因果変換器を事前訓練する。
提案手法は,シミュレーション遠隔操作が実世界における創発的操作のトレーニング前情報源として有効なことを示し,学習行動のクローン化方針をゼロから上回る結果を得た。
論文 参考訳(メタデータ) (2026-08-16T20:21:33Z) - ASPIRE: Agentic /Skills Discovery for Robotics [46.66569877875144]
ASPIRE (Agentic Skill Programming through Iterative Robot Exploration) は、ロボット制御プログラムをコード・アズ・ポリティクスのパラダイムで書き、洗練する。
1)細粒度のマルチモーダルトレースを露呈し,自律的な故障診断,修復,合成,検証を可能にするクローズドループロボット実行エンジン,(2)検証済みの修正を再利用可能な,伝達可能な知識に蒸留する継続的な拡張スキルライブラリ,(3)多様なタスクシーケンスを生成する進化的検索と,単一軌道の洗練を超えて探索する制御プログラムである。
論文 参考訳(メタデータ) (2026-06-30T23:38:46Z) - An Embodied Simulation Platform, Benchmark, and Data-Efficient Augmentation Framework for Wet-Lab Robotics [21.29219496385208]
Pipetteは、ウェットラブロボット学習のためのシミュレーションプラットフォーム、ベンチマーク、フレームワークである。
重要なコンポーネントはシミュレーションベースのデータ拡張パイプラインで、シミュレーションで人間のデモを再生する。
ACTは平均成功率65.5%、SmolVLAは44.1%から74.7%に向上する。
論文 参考訳(メタデータ) (2026-06-11T05:58:38Z) - Real-Time Whole-Body Teleoperation of a Humanoid Robot Using IMU-Based Motion Capture with Sim2Sim and Sim2Real Validation [0.7325481380690131]
本稿では,Unitree G1ヒューマノイドロボットで記録されたリアルタイム全体遠隔操作システムを提案する。
オフラインバッファリングや学習ベースのコンポーネントを使わずに、連続的かつ低レイテンシな操作のために設計された、独自のモーションプロセッシング、キネマティック、制御パイプラインを導入します。
実験結果から,歩行,立位,座位,旋回,ボウイング,コーディネートされたフルボディジェスチャーなど,広い運動レパートリーの安定かつ同期的な再現が示された。
論文 参考訳(メタデータ) (2026-05-12T16:22:17Z) - SimulatorArena: Are User Simulators Reliable Proxies for Multi-Turn Evaluation of AI Assistants? [61.07963107032645]
大規模言語モデル(LLM)は、対話型アプリケーションでますます使われている。
人間の評価は、マルチターン会話におけるパフォーマンスを評価するためのゴールドスタンダードのままである。
我々は、909の注釈付き人間とLLMの会話を2つの対話タスクで行うベンチマークであるSimulatorArenaを紹介した。
論文 参考訳(メタデータ) (2025-10-06T23:17:44Z) - Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement
Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。
本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。
ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文 参考訳(メタデータ) (2023-03-02T18:51:38Z) - Transporters with Visual Foresight for Solving Unseen Rearrangement
Tasks [12.604533231243543]
Visual Foresight (TVF) を使ったトランスポーターは、目に見えないタスクに対してマルチタスク学習とゼロショットの一般化を実現することができる。
TVFは、シミュレーションと実際のロボット実験において、トレーニングと見えないタスクの両方において、最先端の模倣学習手法の性能を向上させることができる。
論文 参考訳(メタデータ) (2022-02-22T09:35:09Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳(メタデータ) (2020-07-27T17:46:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。