論文の概要: SPEAR: A Simulator for Photorealistic Embodied AI Research
- arxiv url: http://arxiv.org/abs/2607.06701v1
- Date: Tue, 07 Jul 2026 18:20:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.195158
- Title: SPEAR: A Simulator for Photorealistic Embodied AI Research
- Title（参考訳）: SPEAR:フォトリアリスティック・エボダイドAI研究のためのシミュレータ
- Abstract要約: SPEARは、Unreal Engine (UE)アプリケーションをモジュール化されたアーキテクチャで制御できるPythonライブラリである。
単一のSPEARインスタンスは、1920x1080の美容画像をユーザのNumPy配列に直接、毎秒73フレームでレンダリングすることができる。
- 参考スコア（独自算出の注目度）: 50.72272540069964
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive simulators have become powerful tools for training embodied agents and generating synthetic visual data, but existing photorealistic simulators suffer from limited generality, programmability, and rendering speed. We address these limitations by introducing SPEAR: A Simulator for Photorealistic Embodied AI Research. At its core, SPEAR is a Python library that can connect to, and programmatically control, any Unreal Engine (UE) application via a modular plugin architecture. SPEAR exposes over 14K unique UE functions to Python, representing an order-of-magnitude increase in programmable functionality over existing UE-based simulators. Additionally, a single SPEAR instance can render 1920x1080 photorealistic beauty images directly into a user's NumPy array at 73 frames per second - an order of magnitude faster than existing UE plugins - while also providing ground truth image modalities that are not available in any existing UE-based simulator (e.g., a non-diffuse intrinsic image decomposition, material IDs, and physically based shading parameters). Finally, SPEAR introduces an expressive high-level programming model that enables users to specify complex graphs of UE work with arbitrary data dependencies among work items, and to execute these graphs deterministically within a single UE frame. We demonstrate the utility of SPEAR through a diverse collection of example applications: controlling multiple embodied agents with distinct action spaces (e.g., humans, cars, and robots) across several in-the-wild UE projects; rendering photorealistic city-scale environments; manipulating UE's procedural content generation systems; rendering synchronized multi-view images of detailed human faces; coordinating an interactive co-simulation with the MuJoCo physics simulator; and editing scenes with natural language via an AI coding assistant.
- Abstract（参考訳）: インタラクティブシミュレータは、エンボディエージェントを訓練し、合成視覚データを生成するための強力なツールとなっているが、既存のフォトリアリスティックシミュレータは、汎用性、プログラム可能性、レンダリング速度に制限がある。
本稿では,光現実的身体型AI研究のためのシミュレータSPEARを導入することで,これらの制約に対処する。
SPEARはPythonライブラリであり、モジュール化されたプラグインアーキテクチャを通じてUnreal Engine(UE)アプリケーションに接続し、プログラム的に制御できる。
SPEARは、Pythonに14K以上のユニークなUE関数を公開しており、既存のUEベースのシミュレータよりもプログラム可能な機能の桁違いの増加を示している。
さらに、単一のSPEARインスタンスは、1920x1080のフォトリアリスティックな美像を直接ユーザのNumPy配列に毎秒73フレームでレンダリングすることができる。
最後に、SPEARは、ユーザが作業項目間で任意のデータ依存を伴うUE作業の複雑なグラフを指定し、これらのグラフを単一のUEフレーム内で決定的に実行する、表現力のあるハイレベルプログラミングモデルを導入する。
様々な応用例を通してSPEARの実用性を実証する: 異なるアクション空間(例えば、人間、車、ロボット)で複数の実施エージェントを制御すること、光現実的な都市規模の環境をレンダリングすること、UEの手続き的コンテンツ生成システムを操作すること、詳細な人間の顔の同期されたマルチビュー画像をレンダリングすること、MuJoCo物理シミュレータと対話的なコシミュレートをコーディネートすること、AIコーディングアシスタントを介して自然言語でシーンを編集すること。
関連論文リスト
- Image2Sim: Scaling Embodied Navigation via Generative Neural Simulator [70.34667754804168]
Embodied Navigationは、マルチモーダルな目標を解釈し、3D空間を推論し、現実の世界で確実に目的地に到達するエージェントを構築することを目的としている。
本稿では,RGB-D画像シーケンスから高品質な対話環境を構築するリアルタイムニューラルネットワークフレームワークであるImage2Simを紹介する。
論文 参考訳（メタデータ） (2026-07-07T02:42:41Z) - GASE: Gaussian Splatting-Based Automated System for Reconstructing Embodied-Simulation Environments [63.222920701596564]
実世界での実施エージェントの訓練には熟練したオペレーターと高価なハードウェアが必要である。
シミュレーション環境は、大規模で費用対効果の高いデータ拡張を可能にすることで、魅力的な代替手段を提供する。
シミュレーションシーンを最小限のsim-to-realギャップで高速に構築することは、ロボット学習において重要な目標となっている。
論文 参考訳（メタデータ） (2026-06-16T05:00:42Z) - SCOPE: Real-Time Natural Language Camera Agent at the Edge [0.0]
SCOPE(知覚と評価のためのシミュレーションとカメラ操作)
本稿では,PTZカメラ制御と視覚的シーン理解のためのモジュールエージェントSCOPEについて述べる。
我々は、Blenderベースのシミュレーション環境で、QA、単一言語カウント、カウント、空間推論、説明、光学文字認識にまたがる536タスクのベンチマークをリリースする。
論文 参考訳（メタデータ） (2026-06-01T23:07:44Z) - LychSim: A Controllable and Interactive Simulation Framework for Vision Research [13.971578506119647]
Unreal Engine 5上に構築された高度に制御可能でインタラクティブなシミュレーションフレームワークであるLychSimを紹介します。
LychSimは、(1)エンジンの複雑さを抽象化するPython APIの合理化、(2)様々なアウト・オブ・ディストリビューション(OOD)による多様な高忠実な環境を生成可能なプロシージャデータパイプライン、(3)エージェントLLMを推論するためにシミュレータを動的にクローズループグラウンドに変換するModel Context Protocol(MCP)のネイティブな統合、の3つの主要な設計に基づいて構築されている。
論文 参考訳（メタデータ） (2026-05-12T17:40:38Z) - GS-Playground: A High-Throughput Photorealistic Simulator for Vision-Informed Robot Learning [55.272458304179025]
GS-Playgroundは、エンド・ツー・エンドの知覚学習を促進するために設計されたマルチモーダル・シミュレーション・フレームワークである。
このシステムは640x480の解像度で104 FPSのスループットを達成し、大規模な視覚的RLの障壁を著しく低減する。
論文 参考訳（メタデータ） (2026-04-28T10:05:39Z) - Real-to-Sim Robot Policy Evaluation with Gaussian Splatting Simulation of Soft-Body Interactions [27.247431258140463]
本稿では,現実の映像からソフトボディのディジタルツインを構築するための,リアル・トゥ・シミュレート・ポリシー評価フレームワークを提案する。
我々は,ぬいぐるみのパッキング,ロープルーティング,Tブロックプッシュなど,代表的な変形可能な操作タスクに対するアプローチを検証する。
論文 参考訳（メタデータ） (2025-11-06T18:52:08Z) - GaussGym: An open-source real-to-sim framework for learning locomotion from pixels [78.05453137978132]
本稿では,3次元ガウススプラッティングをベクトル化物理シミュレータのドロップインとして統合した光現実的ロボットシミュレーションを提案する。
これにより、コンシューマGPUで毎秒10万ステップを超える、前例のないスピードを実現している。
また,シミュレーティブ・トゥ・リアル・ロボティクス・セッティングにおける適用性を実証した。
論文 参考訳（メタデータ） (2025-10-17T06:34:52Z) - FIRE-3DV: Framework-Independent Rendering Engine for 3D Graphics using Vulkan [4.226502078427161]
本稿では,最新のVulkanグラフィックスAPIをサポートする,パフォーマンスを重視した軽量レンダリングエンジンを提案する。
我々のエンジンは、動的シミュレーションフレームワークであるAMBF(Asynchronous Multi-Body Framework)のレガシーレンダリングパイプラインの近代化に使用されている。
実験によると、エンジンは2ミリ秒以内のGPU計算時間を維持しながら、700万以上の三角形でシミュレーションされたシーンをレンダリングできる。
論文 参考訳（メタデータ） (2024-10-07T14:50:19Z) - Editable Scene Simulation for Autonomous Driving via Collaborative LLM-Agents [49.11254369459406]
ChatSimは、編集可能な3Dドライビングシーンシミュレーションを、外部デジタル資産を持つ自然言語コマンドで実現した最初のシステムである。
ChatSimは、フォトリアリスティックな結果を生成するために、新しいマルチカメラニューラルフィールド法を採用している。
論文 参考訳（メタデータ） (2024-02-08T15:26:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。