論文の概要: MagicSim: A Unified Infrastructure for Executable Embodied Interaction
- arxiv url: http://arxiv.org/abs/2606.17511v1
- Date: Tue, 16 Jun 2026 04:42:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.26974
- Title: MagicSim: A Unified Infrastructure for Executable Embodied Interaction
- Title（参考訳）: MagicSim: 実行可能な相互作用のための統一されたインフラストラクチャ
- Abstract要約: MagicSimは1つの決定論的バッチ実行と共有マルコフ決定プロセス(MDP)を中心に構築された実装された相互作用基盤である。
MagicSimは、内容、配置、行動、エージェントの露出を分離するYAMLファースト仕様から、タスクファミリ、インタラクションシステマティクス、物理、レイアウト、センサー、アバター、ロボットエボディメントを1つのリセット・ステップループで対象とするさまざまな実行可能な世界を構築している。
1つのタスク定義は、ベンチマークとRL評価、コマンドをグラウンド化されたトラジェクトリに自動的に変換するオートコレクトインターフェース、エージェント/VLM対応のインタラクションの3つの機能をサポートする。
- 参考スコア（独自算出の注目度）: 41.00414089253226
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Robot learning and embodied agents now require simulation to serve as a shared execution substrate linking control, skills, and planning, not only as a renderer, controller testbed, or fixed task environment. Existing pipelines split these layers with "magic" actions, disconnected training environments, or forward-only renders that cannot reproduce, evaluate, and annotate the same episode. We present MagicSim, an embodied interaction infrastructure built around one deterministic batched runtime and a shared Markov decision process (MDP). From YAML-first specifications that decouple contents, placement, behavior, and agent exposure, MagicSim constructs diverse executable worlds spanning task families, interaction regimes, physics, layouts, sensors, avatars, and robot embodiments in one reset-and-step loop. A common execution interface grounds high-level commands through controllers, atomicskills, planner primitives, and asynchronous planning, realizing them as robot actions rather than simulator-side state edits. One task definition supports three capabilities: benchmark and RL evaluation, an autocollect interface that automatically turns commands into grounded trajectories, and agent/VLM-facing interaction. For automatic execution, commands flow through a Command->Skill->Planner->Robot->Record pipeline, while per-environment command, skill, planning, retry, annotation, and episode states advance independently above the shared physics tick. Successful rollouts are saved as structured multimodal trajectories aligning language supervision, action representations, visual/geometric representations, and task-level status with the executed episode. MagicSim thus unifies diverse world construction, embodied execution, task evaluation, automatic rollout generation, and interactive agent interfaces in one planner-in-the-loop runtime.
- Abstract（参考訳）: ロボット学習と具体化エージェントは、レンダラー、コントローラテストベッド、固定タスク環境だけでなく、制御、スキル、プランニングをリンクする共有実行基板として機能するためにシミュレーションを必要とする。
既存のパイプラインはこれらのレイヤを“魔法の”アクション、非接続のトレーニング環境、あるいは同じエピソードを再現、評価、注釈付けできないフォワードオンリーのレンダリングで分割する。
MagicSimは1つの決定論的バッチ実行と共有マルコフ決定プロセス(MDP)を中心に構築された、実装された相互作用基盤である。
MagicSimは、内容、配置、行動、エージェントの露出を分離するYAMLファースト仕様から、タスクファミリ、インタラクションシステマティクス、物理、レイアウト、センサー、アバター、ロボットエボディメントを1つのリセット・ステップループで対象とするさまざまな実行可能な世界を構築している。
一般的な実行インターフェースは、コントローラ、アトミックスキル、プランナープリミティブ、非同期計画を通じて高レベルのコマンドを基盤として、シミュレーター側の状態編集ではなくロボットアクションとして実現している。
1つのタスク定義は、ベンチマークとRL評価、コマンドをグラウンド化されたトラジェクトリに自動的に変換するオートコレクトインターフェース、エージェント/VLM対応のインタラクションの3つの機能をサポートする。
自動実行では、コマンドはCommand->Skill->Planner->Robot->Recordパイプラインを流れるが、環境ごとのコマンド、スキル、計画、再試行、アノテーション、エピソード状態は、共有物理学のティッチの上に独立して進行する。
成功したロールアウトは、言語監督、アクション表現、視覚的/幾何学的表現、タスクレベルの状態と実行されたエピソードを整合させる構造化されたマルチモーダルトラジェクトリとして保存される。
これによりMagicSimは、多種多様な世界構築、実施、タスク評価、自動ロールアウト生成、対話型エージェントインターフェースを1つのプランナー・イン・ザ・ループランタイムで統合する。
関連論文リスト
- WorldScape Policy 2.0: Empowering Steerable World Action Modeling with Reasoning-Augmented Memory [50.19449886428936]
We introduced WorldScape Policy 2.0, a controllable WAM with reasoning-augmented long long-term memory。
検索された履歴は、認識と自己回帰的に生成された計画トークンを増大させ、自律的な計画のための暗黙のサブゴール条件をもたらす。
シミュレーションと実世界のプラットフォームにおける実験は、長期の自律計画、きめ細かい指示、文脈内適応において優れた能力を示す。
論文 参考訳（メタデータ） (2026-07-21T08:25:37Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - A Generative Partially Specified Finite State Machine Approach to Complex Behaviour Planning [0.6361348748202732]
本稿では,動作計画の解析,検証,実行を行うFabricを特徴とする,ロボットのための最初のGPSFSMフレームワークを紹介する。
我々は、ロボットシステムのための生成FSM計画を実用的で再現可能なオープンソースのROS2スタックをリリースする。
論文 参考訳（メタデータ） (2026-07-17T06:33:31Z) - DSWAM: A Dual-System World Action Foundation Model for Fine-Grained Robot Manipulation [14.193285862278913]
World Action Models (WAMs) は、VLA(Vision-Language-Action) ポリシーに代わる有望な代替手段を提供する。
既存のWAMは、物理的に基盤化された実行では優れているが、言語レベルの明確な計画インターフェースが欠如している。
DSWAM(Dual-System World Action Foundation Model)を紹介する。
論文 参考訳（メタデータ） (2026-07-06T10:57:01Z) - RADAR: Closed-Loop Robotic Data Generation via Semantic Planning and Autonomous Causal Environment Reset [48.645870795753105]
ロボットのためのロバスト自動データ取得(RADAR)について紹介する。
RADARは完全に自律的でクローズドループのデータ生成エンジンで、収集サイクルから人間の介入を完全に取り除きます。
シミュレーションでは、複雑な長期タスクにおいて、最大90%の成功率を達成する。
論文 参考訳（メタデータ） (2026-03-12T11:18:52Z) - Instruct2Act: From Human Instruction to Actions Sequencing and Execution via Robot Action Network for Robotic Manipulation [14.833622989644352]
我々は、自然言語コマンドを信頼性の高い操作に変換する軽量で完全なオンデバイスパイプラインを開発した。
Instruct2Actは91.5%のサブアクション予測精度を達成し、フットプリントは小さい。
その結果, DATRNに基づく軌道生成と視覚誘導グラウンド化と相まって, 決定論的, リアルタイムな操作を行うための実践的な経路が得られた。
論文 参考訳（メタデータ） (2026-02-10T16:25:39Z) - Intent-Driven LLM Ensemble Planning for Flexible Multi-Robot Disassembly: Demonstration on EV Batteries [2.3564175619410803]
本稿では,複雑な操作タスクを計画する上での問題に対処する。
このようなアクションシーケンスを堅牢に構築できる意図駆動型計画パイプラインを提案する。
このパイプラインは、2つのロボットアームが協力して電気自動車のバッテリーを解体する例に基づいて評価される。
論文 参考訳（メタデータ） (2025-10-20T14:24:39Z) - REMAC: Self-Reflective and Self-Evolving Multi-Agent Collaboration for Long-Horizon Robot Manipulation [57.628771707989166]
本稿では,ReMACと呼ばれる適応型マルチエージェント計画フレームワークを提案する。
ReMACには2つの重要なモジュールが組み込まれており、ループ内で事前条件と後条件チェックを実行し、進捗と計画の洗練を評価する。
論文 参考訳（メタデータ） (2025-03-28T03:51:40Z) - DriveTransformer: Unified Transformer for Scalable End-to-End Autonomous Driving [62.62464518137153]
DriveTransformerは、スケールアップを簡単にするためのシンプルなE2E-ADフレームワークである。
タスク・セルフ・アテンション、センサー・クロス・アテンション、時間的クロス・アテンションという3つの統合された操作で構成されている。
シミュレーションされたクローズドループベンチマークBench2Driveと、FPSの高い実世界のオープンループベンチマークnuScenesの両方で、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-03-07T11:41:18Z) - Closed Loop Interactive Embodied Reasoning for Robot Manipulation [17.732550906162192]
身体的推論システムは、ロボットハードウェアと認知プロセスを統合して複雑なタスクを実行する。
そこで我々は,CLIER(Closed Loop Interactive Embodied Reasoning)アプローチを導入した。
CLIERは、非視覚的物体の特性の測定、外乱によるシーンの変化、そしてロボット行動の不確実な結果を考慮している。
論文 参考訳（メタデータ） (2024-04-23T16:33:28Z) - DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。
DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。
実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
論文 参考訳（メタデータ） (2021-04-30T15:30:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。