論文の概要: SkillWeaver: Agentic Exploration over Neural Interaction Skills for Scalable Robot Data Generation
- arxiv url: http://arxiv.org/abs/2609.36171v1
- Date: Mon, 28 Sep 2026 19:41:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.975515
- Title: SkillWeaver: Agentic Exploration over Neural Interaction Skills for Scalable Robot Data Generation
- Title(参考訳): SkillWeaver: スケーラブルなロボットデータ生成のためのニューラルネットワークスキルに関するエージェント探索
- Abstract要約: 本稿では,ニューラルネットワークスキルを探索することで,自律的にロボット体験を生成するエージェントフレームワークであるSkillWeaverを紹介する。
我々は、NISを、クローズドループ、コンタクトリッチな操作のための強化学習ポリシーとしてインスタンス化し、検証誘導木探索として探索を組織化する。
SkillWeaverは、14.1Kシーンで39.1Kのデモに自動でスケールし、ビジュモータポリシーに精算する。
- 参考スコア(独自算出の注目度): 23.87165493471096
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale demonstrations have driven unprecedented progress in robot learning, yet collecting robot data through teleoperation is expensive and difficult to scale to diverse environments and long-horizon tasks. Simulation offers a scalable alternative, but existing data-generation pipelines often rely on open-loop controllers, scripted skill sequences, or task-specific programs. We introduce SkillWeaver, an agentic framework that autonomously generates robot experience by exploring over Neural Interaction Skills (NIS): reusable, parameterized, closed-loop policies that expose learned physical interaction capabilities to a reasoning agent. Given a task and a simulated environment, a VLM agent reasons about what to do next, invokes and parameterizes NIS to interact with the environment, observes their outcomes, and generates verification, reflection, and memory to guide subsequent exploration. We instantiate NIS as reinforcement-learned policies for closed-loop, contact-rich manipulation and organize exploration as verifier-guided tree search, enabling the agent to discover successful long-horizon behaviors without relying on predetermined execution pipelines. SkillWeaver scales autonomously to 39.1K demonstrations across 14.1K scenes, which we distill into visuomotor policies. Across simulation benchmarks and real-world manipulation, training on SkillWeaver-generated experience substantially improves generalization to novel objects, spatial configurations, tasks, and environments, and enables zero- and few-shot sim-to-sim and sim-to-real transfer. Our results suggest agentic exploration over neural interaction skills as a scalable alternative for robot data generation.
- Abstract(参考訳): 大規模なデモは、ロボット学習における前例のない進歩を導いてきたが、遠隔操作によるロボットデータの収集は高価であり、多様な環境や長距離タスクにスケールすることは困難である。
シミュレーションはスケーラブルな代替手段を提供するが、既存のデータ生成パイプラインはしばしばオープンループコントローラ、スクリプト化されたスキルシーケンス、タスク固有のプログラムに依存している。
本稿では,ニューラルネットワークスキル(NIS: Neural Interaction Skills)を探索することで,自律的にロボット体験を生成するエージェントフレームワークであるSkillWeaverを紹介する。
タスクとシミュレーション環境が与えられた後、VLMエージェントは次に何をすべきかを判断し、NISを呼び出してパラメータ化し、環境と対話し、結果を観察し、検証、リフレクション、メモリを生成し、その後の探索をガイドする。
我々は、NISを、クローズドループ、コンタクトリッチな操作のための強化されたポリシーとしてインスタンス化し、検証誘導木探索として探索を組織化することにより、エージェントは所定の実行パイプラインに依存することなく、長い水平な振る舞いを発見できる。
SkillWeaverは、14.1Kシーンで39.1Kのデモに自動でスケールし、ビジュモータポリシーに精算する。
シミュレーションベンチマークと実世界の操作を通じて、SkillWeaverの生成したエクスペリエンスのトレーニングは、新しいオブジェクト、空間構成、タスク、環境への一般化を大幅に改善し、ゼロショットと少数ショットのsim-to-simおよびsim-to-real転送を可能にする。
この結果から,ロボットデータ生成のスケーラブルな代替手段として,ニューラルインタラクションスキルに対するエージェントによる探索が示唆された。
関連論文リスト
- DexAgent: An Agentic Human2Sim2Robot Framework for Dexterous Manipulation with Self-Evolving Tool Library [33.889168703992034]
DexAgentはエージェント的なHuman2Sim2Robotフレームワークで、一つの人間中心の動画を、政策訓練のための物理的に接地されたロボット軌道に変換する。
セマンティック理解、プロパティベースのシミュレーション再構成、ロボット軌道最適化、ロボットデータ生成の4段階を通じて動作する。
11の現実世界のタスクで、DexAgent生成データでトレーニングされたポリシーは、競合するベースラインよりも3.5倍高い成功率を達成する。
論文 参考訳(メタデータ) (2026-09-28T14:49:06Z) - Exploratory, Communicative, and Deployable: Vision-Driven Embodied Agents for Open-World Mobile Manipulation [47.58516950734307]
既存のフレームワークは、しばしば特権化されたシミュレータの状態に依存するか、あるいは完全な命令を仮定し、現実的なデプロイメント課題を回避します。
本稿では,オープンワールドモバイル操作のためのエージェントフレームワークREALを提案する。
我々は、データ収集、教師付き微調整、オンライン強化学習を駆動するための多様なタスク構成を設計する。
論文 参考訳(メタデータ) (2026-07-15T09:55:45Z) - Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation [90.90219129619344]
本稿では,スパイキング機能を備えたR-prior-S, Recurrent Geometric-priormodal Policyを提案する。
物理的現実の高レベル推論を基礎として、軽量な2次元幾何学的帰納バイアスを利用する。
ロボット行動生成におけるデータ効率問題に対して,再帰的適応スパイクネットワークを導入する。
論文 参考訳(メタデータ) (2026-01-13T23:36:30Z) - GRAPPA: Generalizing and Adapting Robot Policies via Online Agentic Guidance [15.774237279917594]
本稿では,ロボットによる自己指導と自己改善のためのエージェントフレームワークを提案する。
本フレームワークは,環境中の関連オブジェクトに対して,ベースロボットポリシーを反復的に適用する。
弊社のアプローチは、操作ポリシーを効果的にガイドし、成功率を大幅に向上させることを実証する。
論文 参考訳(メタデータ) (2024-10-09T02:00:37Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳(メタデータ) (2023-12-11T22:54:44Z) - RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。
我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
論文 参考訳(メタデータ) (2023-11-02T17:59:21Z) - Gen2Sim: Scaling up Robot Learning in Simulation with Generative Models [17.757495961816783]
Gen2Simは、3Dアセット、タスク記述、タスク分解、報酬関数の自動生成によるシミュレーションにおけるロボットスキル学習のスケールアップ方法である。
私たちの研究は、シミュレーションにおける完全に自律的なロボット操作スキル獲得に向けて、何百ものシミュレーション資産、タスク、デモに貢献しています。
論文 参考訳(メタデータ) (2023-10-27T17:55:32Z) - SAPIEN: A SimulAted Part-based Interactive ENvironment [77.4739790629284]
SAPIENは現実的で物理に富んだシミュレートされた環境であり、音声オブジェクトのための大規模なセットをホストしている。
部品検出と動作特性認識のための最先端の視覚アルゴリズムの評価を行い,ロボットインタラクションタスクの実証を行った。
論文 参考訳(メタデータ) (2020-03-19T00:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。