論文の概要: MagicSim: A Unified Infrastructure for Executable Embodied Interaction
- arxiv url: http://arxiv.org/abs/2606.17511v1
- Date: Tue, 16 Jun 2026 04:42:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.26974
- Title: MagicSim: A Unified Infrastructure for Executable Embodied Interaction
- Title（参考訳）: MagicSim: 実行可能な相互作用のための統一されたインフラストラクチャ
- Authors: Haoran Lu, Songling Liu, Yue Chen, Guo Ye, Mutian Shen, Shuyang Yu, Yu Xiao, Jihai Zhao, Shang Wu, Jianshu Zhang, Xiangtian Gui, Chuye Hong, Yuran Wang, Maojiang Su, Jiayi Wang, Ruihai Wu, Zhaoran Wang, Han Liu,
- Abstract要約: MagicSimは1つの決定論的バッチ実行と共有マルコフ決定プロセス(MDP)を中心に構築された実装された相互作用基盤である。
MagicSimは、内容、配置、行動、エージェントの露出を分離するYAMLファースト仕様から、タスクファミリ、インタラクションシステマティクス、物理、レイアウト、センサー、アバター、ロボットエボディメントを1つのリセット・ステップループで対象とするさまざまな実行可能な世界を構築している。
1つのタスク定義は、ベンチマークとRL評価、コマンドをグラウンド化されたトラジェクトリに自動的に変換するオートコレクトインターフェース、エージェント/VLM対応のインタラクションの3つの機能をサポートする。
- 参考スコア（独自算出の注目度）: 41.00414089253226
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Robot learning and embodied agents now require simulation to serve as a shared execution substrate linking control, skills, and planning, not only as a renderer, controller testbed, or fixed task environment. Existing pipelines split these layers with "magic" actions, disconnected training environments, or forward-only renders that cannot reproduce, evaluate, and annotate the same episode. We present MagicSim, an embodied interaction infrastructure built around one deterministic batched runtime and a shared Markov decision process (MDP). From YAML-first specifications that decouple contents, placement, behavior, and agent exposure, MagicSim constructs diverse executable worlds spanning task families, interaction regimes, physics, layouts, sensors, avatars, and robot embodiments in one reset-and-step loop. A common execution interface grounds high-level commands through controllers, atomicskills, planner primitives, and asynchronous planning, realizing them as robot actions rather than simulator-side state edits. One task definition supports three capabilities: benchmark and RL evaluation, an autocollect interface that automatically turns commands into grounded trajectories, and agent/VLM-facing interaction. For automatic execution, commands flow through a Command->Skill->Planner->Robot->Record pipeline, while per-environment command, skill, planning, retry, annotation, and episode states advance independently above the shared physics tick. Successful rollouts are saved as structured multimodal trajectories aligning language supervision, action representations, visual/geometric representations, and task-level status with the executed episode. MagicSim thus unifies diverse world construction, embodied execution, task evaluation, automatic rollout generation, and interactive agent interfaces in one planner-in-the-loop runtime.
- Abstract（参考訳）: ロボット学習と具体化エージェントは、レンダラー、コントローラテストベッド、固定タスク環境だけでなく、制御、スキル、プランニングをリンクする共有実行基板として機能するためにシミュレーションを必要とする。
既存のパイプラインはこれらのレイヤを“魔法の”アクション、非接続のトレーニング環境、あるいは同じエピソードを再現、評価、注釈付けできないフォワードオンリーのレンダリングで分割する。
MagicSimは1つの決定論的バッチ実行と共有マルコフ決定プロセス(MDP)を中心に構築された、実装された相互作用基盤である。
MagicSimは、内容、配置、行動、エージェントの露出を分離するYAMLファースト仕様から、タスクファミリ、インタラクションシステマティクス、物理、レイアウト、センサー、アバター、ロボットエボディメントを1つのリセット・ステップループで対象とするさまざまな実行可能な世界を構築している。
一般的な実行インターフェースは、コントローラ、アトミックスキル、プランナープリミティブ、非同期計画を通じて高レベルのコマンドを基盤として、シミュレーター側の状態編集ではなくロボットアクションとして実現している。
1つのタスク定義は、ベンチマークとRL評価、コマンドをグラウンド化されたトラジェクトリに自動的に変換するオートコレクトインターフェース、エージェント/VLM対応のインタラクションの3つの機能をサポートする。
自動実行では、コマンドはCommand->Skill->Planner->Robot->Recordパイプラインを流れるが、環境ごとのコマンド、スキル、計画、再試行、アノテーション、エピソード状態は、共有物理学のティッチの上に独立して進行する。
成功したロールアウトは、言語監督、アクション表現、視覚的/幾何学的表現、タスクレベルの状態と実行されたエピソードを整合させる構造化されたマルチモーダルトラジェクトリとして保存される。
これによりMagicSimは、多種多様な世界構築、実施、タスク評価、自動ロールアウト生成、対話型エージェントインターフェースを1つのプランナー・イン・ザ・ループランタイムで統合する。
関連論文リスト
- RADAR: Closed-Loop Robotic Data Generation via Semantic Planning and Autonomous Causal Environment Reset [48.645870795753105]
ロボットのためのロバスト自動データ取得(RADAR)について紹介する。
RADARは完全に自律的でクローズドループのデータ生成エンジンで、収集サイクルから人間の介入を完全に取り除きます。
シミュレーションでは、複雑な長期タスクにおいて、最大90%の成功率を達成する。
論文 参考訳（メタデータ） (2026-03-12T11:18:52Z) - Instruct2Act: From Human Instruction to Actions Sequencing and Execution via Robot Action Network for Robotic Manipulation [14.833622989644352]
我々は、自然言語コマンドを信頼性の高い操作に変換する軽量で完全なオンデバイスパイプラインを開発した。
Instruct2Actは91.5%のサブアクション予測精度を達成し、フットプリントは小さい。
その結果, DATRNに基づく軌道生成と視覚誘導グラウンド化と相まって, 決定論的, リアルタイムな操作を行うための実践的な経路が得られた。
論文 参考訳（メタデータ） (2026-02-10T16:25:39Z) - Intent-Driven LLM Ensemble Planning for Flexible Multi-Robot Disassembly: Demonstration on EV Batteries [2.3564175619410803]
本稿では,複雑な操作タスクを計画する上での問題に対処する。
このようなアクションシーケンスを堅牢に構築できる意図駆動型計画パイプラインを提案する。
このパイプラインは、2つのロボットアームが協力して電気自動車のバッテリーを解体する例に基づいて評価される。
論文 参考訳（メタデータ） (2025-10-20T14:24:39Z) - REMAC: Self-Reflective and Self-Evolving Multi-Agent Collaboration for Long-Horizon Robot Manipulation [57.628771707989166]
本稿では,ReMACと呼ばれる適応型マルチエージェント計画フレームワークを提案する。
ReMACには2つの重要なモジュールが組み込まれており、ループ内で事前条件と後条件チェックを実行し、進捗と計画の洗練を評価する。
論文 参考訳（メタデータ） (2025-03-28T03:51:40Z) - DriveTransformer: Unified Transformer for Scalable End-to-End Autonomous Driving [62.62464518137153]
DriveTransformerは、スケールアップを簡単にするためのシンプルなE2E-ADフレームワークである。
タスク・セルフ・アテンション、センサー・クロス・アテンション、時間的クロス・アテンションという3つの統合された操作で構成されている。
シミュレーションされたクローズドループベンチマークBench2Driveと、FPSの高い実世界のオープンループベンチマークnuScenesの両方で、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-03-07T11:41:18Z) - Closed Loop Interactive Embodied Reasoning for Robot Manipulation [17.732550906162192]
身体的推論システムは、ロボットハードウェアと認知プロセスを統合して複雑なタスクを実行する。
そこで我々は,CLIER(Closed Loop Interactive Embodied Reasoning)アプローチを導入した。
CLIERは、非視覚的物体の特性の測定、外乱によるシーンの変化、そしてロボット行動の不確実な結果を考慮している。
論文 参考訳（メタデータ） (2024-04-23T16:33:28Z) - DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。
DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。
実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
論文 参考訳（メタデータ） (2021-04-30T15:30:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。