論文の概要: World In-Context Learning for Agentic Robot Manipulation
- arxiv url: http://arxiv.org/abs/2611.12885v1
- Date: Mon, 09 Nov 2026 18:59:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.455275
- Title: World In-Context Learning for Agentic Robot Manipulation
- Title(参考訳): エージェントロボットマニピュレーションのための世界インテクスト学習
- Abstract要約: 我々は,シミュレーションなどの世界で,凍結モデルが実演から始まり,タスクをリハーサルするパラダイムであるWICLを提案する。
エージェント操作のためのWICLを実装したモジュール型インフラストラクチャであるRoboScriptを構築します。
- 参考スコア(独自算出の注目度): 52.68027505354858
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Trained action policies write manipulation skill into network weights, tying what is learned to the distribution it is learned from. In-context learning (ICL) avoids this coupling but has not matched trained policies, because a demonstration recorded in another scene carries no feedback from the world the robot currently faces. We observe that what an agent learns in context is semantic, recording task steps and object roles rather than visual appearance, so experience gathered in one world transfers to another. Based on this insight, we propose World In-Context Learning (WICL), a paradigm in which a frozen model starts from a demonstration, rehearses the task in a world such as a simulator, and writes the feedback into its context rather than its weights. We build RoboScript, a modular infrastructure that implements WICL for agentic manipulation. From a single demonstration, RoboScript learns each task through rehearsal in simulation, freezes the learned knowledge as a Task Memory, and deploys the frozen memory on new scenes with data isolation that ensures every deployment input is available on a real robot. On all 50 tasks of RoboTwin 2.0, RoboScript reaches 83.4% mean success across clean and randomized settings with one demonstration per task and no gradient updates, exceeding the strongest trained action policy by over 20 points. The method generalizes across visual distributions, improves through reflection, scales with the foundation model, and transfers to a physical dual-arm robot through cross-embodiment memory adaptation. With a world in the loop, a robot can learn a manipulation task in its context as well as it learns one in its weights. All code is available at https://github.com/ArcheOne-AI/RoboScript
- Abstract(参考訳): トレーニングされたアクションポリシーは、処理スキルをネットワークウェイトに書き、そこから学んだことをディストリビューションに結びつける。
インコンテキスト学習(ICL)は、この結合を避けるが、他のシーンで記録されたデモでは、現在ロボットが直面している世界からのフィードバックがないため、トレーニングされたポリシーにマッチしない。
エージェントがコンテキストで学んだことは、視覚的な外観よりも、タスクステップとオブジェクトの役割を記録できることを観察する。
この知見に基づいて,凍結モデルが実演から始まり,シミュレータなどの世界でタスクをリハーサルするパラダイムであるWICLを提案し,その重みよりも文脈にフィードバックを書き込む。
エージェント操作のためのWICLを実装したモジュール型インフラストラクチャであるRoboScriptを構築します。
1つのデモから、RoboScriptはシミュレーションのリハーサルを通じて各タスクを学習し、学習した知識をタスクメモリとして凍結し、凍結したメモリを新しいシーンにデプロイし、データ分離により、実際のロボットですべてのデプロイメント入力が利用可能になる。
RoboTwin 2.0の50タスクすべてにおいて、RoboScriptは83.4%に達し、クリーンでランダムな設定で、タスク毎に1つのデモと勾配の更新がなく、20ポイント以上の最強のトレーニングされたアクションポリシーを超えた。
本手法は, 視覚分布を一般化し, 反射による改善, 基礎モデルによるスケール, 異体間メモリ適応による物理的双腕ロボットへの転送を行う。
ループの中に世界があれば、ロボットはそのコンテキストで操作タスクを学習できるだけでなく、重みでそれを学習することもできる。
すべてのコードはhttps://github.com/ArcheOne-AI/RoboScriptで入手できる。
関連論文リスト
- LUCID: Learning Embodiment-Agnostic Intent Models from Unstructured Human Videos for Scalable Dexterous Robot Skill Acquisition [11.86733592383987]
LUCIDは、構造化されていない人間のビデオからタスク意図を学ぶフレームワークである。
大規模な並列シミュレーションでロボットの制御を学習する。
実世界の5つの操作課題におけるLUCIDの評価を行った。
論文 参考訳(メタデータ) (2026-06-10T03:49:01Z) - How to Instruct Your Robot: Dense Language Annotations Power Robot Policy Learning [69.68882580009982]
デモセグメントをVLM生成アノテーションでラベル付けする2段階のアプローチであるDeMiAnを紹介する。
学習したインストラクターがタスク記述と初期シーンスナップショットをデプロイ時にタスクに適したアノテーションにマップする。
RoboCasaでは、インストラクターはタスクのみのベースラインで5ポイント成功し、タスクごとのオラクルの3ポイント以内に到達する。
論文 参考訳(メタデータ) (2026-05-16T16:52:08Z) - Human-to-Robot Interaction: Learning from Video Demonstration for Robot Imitation [5.967530183571141]
人間とロボットの模倣学習パイプラインは、ロボットが非構造化ビデオデモから直接操作スキルを取得することを可能にする。
鍵となる革新は、学習プロセスを2つの異なる段階に分離するモジュラーフレームワークである。
ロボット操作では,全ての動作の平均成功率は87.5%であり,タスク達成で100%,複雑なピック・アンド・プレイス操作で90%に達する。
論文 参考訳(メタデータ) (2026-02-22T13:26:27Z) - Instant Policy: In-Context Imitation Learning via Graph Diffusion [12.879700241782528]
In-context Imitation Learning (ICIL)は、ロボット工学にとって有望な機会である。
Instant Policyを導入し、たった1、2つのデモからすぐに新しいタスクを学習します。
また,言語定義タスクへのクロスボデーメントやゼロショット転送の基盤として機能することを示す。
論文 参考訳(メタデータ) (2024-11-19T16:45:52Z) - Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。
私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
論文 参考訳(メタデータ) (2024-05-02T17:56:55Z) - Towards Generalizable Zero-Shot Manipulation via Translating Human
Interaction Plans [58.27029676638521]
我々は、人間の受動的ビデオが、そのようなジェネラリストロボットを学習するための豊富なデータ源であることを示す。
我々は、シーンの現在の画像とゴール画像から将来の手やオブジェクトの設定を予測する人間の計画予測器を学習する。
学習システムは、40個のオブジェクトに一般化する16以上の操作スキルを実現できることを示す。
論文 参考訳(メタデータ) (2023-12-01T18:54:12Z) - RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in
One-Shot [56.130215236125224]
オープンドメインでのロボット操作における重要な課題は、ロボットの多様性と一般化可能なスキルの獲得方法である。
単発模倣学習の最近の研究は、訓練されたポリシーを実証に基づく新しいタスクに移行する可能性を示唆している。
本稿では,エージェントがマルチモーダルな知覚で数百の現実世界のスキルを一般化する可能性を解き放つことを目的とする。
論文 参考訳(メタデータ) (2023-07-02T15:33:31Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳(メタデータ) (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。