論文の概要: LychSim: A Controllable and Interactive Simulation Framework for Vision Research
- arxiv url: http://arxiv.org/abs/2605.12449v1
- Date: Tue, 12 May 2026 17:40:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:57.058177
- Title: LychSim: A Controllable and Interactive Simulation Framework for Vision Research
- Title（参考訳）: LychSim:視覚研究のための制御可能でインタラクティブなシミュレーションフレームワーク
- Authors: Wufei Ma, Chloe Wang, Siyi Chen, Jiawei Peng, Patrick Li, Alan Yuille,
- Abstract要約: Unreal Engine 5上に構築された高度に制御可能でインタラクティブなシミュレーションフレームワークであるLychSimを紹介します。
LychSimは、(1)エンジンの複雑さを抽象化するPython APIの合理化、(2)様々なアウト・オブ・ディストリビューション(OOD)による多様な高忠実な環境を生成可能なプロシージャデータパイプライン、(3)エージェントLLMを推論するためにシミュレータを動的にクローズループグラウンドに変換するModel Context Protocol(MCP)のネイティブな統合、の3つの主要な設計に基づいて構築されている。
- 参考スコア（独自算出の注目度）: 13.971578506119647
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While self-supervised pretraining has reduced vision systems' reliance on synthetic data, simulation remains an indispensable tool for closed-loop optimization and rigorous out-of-distribution (OOD) evaluation. However, modern simulation platforms often present steep technical barriers, requiring extensive expertise in computer graphics and game development. In this work, we present LychSim, a highly controllable and interactive simulation framework built upon Unreal Engine 5 to bridge this gap. LychSim is built around three key designs: (1) a streamlined Python API that abstracts away underlying engine complexities; (2) a procedural data pipeline capable of generating diverse, high-fidelity environments with varying out-of-distribution (OOD) visual challenges, paired with rich 2D and 3D ground truths; and (3) a native integration of the Model Context Protocol (MCP) that transforms the simulator into a dynamic, closed-loop playground for reasoning agentic LLMs. We further annotate scene-level procedural rules and object-level pose alignments to enable semantically aligned 3D ground truths and automated scene modification. We demonstrate LychSim's capability across multiple downstream applications, including serving as a synthetic data engine, powering reinforcement learning-based adversarial examiners, and facilitating interactive, language-driven scene layout generation. To benefit the broader vision community, LychSim will be made publicly available, including full source code and various data annotations.
- Abstract（参考訳）: 自己教師付き事前学習は、視覚システムの合成データへの依存を減らしているが、シミュレーションは、クローズドループ最適化と厳密なアウト・オブ・ディストリビューション(OOD)評価に不可欠である。
しかし、現代のシミュレーションプラットフォームは、しばしば急激な技術的障壁を示し、コンピュータグラフィックスとゲーム開発に広範な専門知識を必要としている。
本稿では,このギャップを埋めるためにUnreal Engine 5上に構築された,高度に制御可能なインタラクティブなシミュレーションフレームワークであるLychSimを紹介する。
LychSimは、(1)エンジンの複雑さを抽象化するPython APIの合理化、(2)様々なアウト・オブ・ディストリビューション(OOD)による多様な高忠実な環境を生成可能なプロシージャデータパイプライン、(3)エージェントLLMを推論するためにシミュレータを動的にクローズループグラウンドに変換するModel Context Protocol(MCP)のネイティブな統合、の3つの主要な設計に基づいて構築されている。
さらに、シーンレベルのプロシージャルールとオブジェクトレベルのポーズアライメントをアノテートして、意味的に整合した3Dグラウンドの真実と自動シーン修正を可能にする。
本稿では,LychSimが合成データエンジンとして機能し,強化学習に基づく対向検定をパワーアップし,インタラクティブな言語駆動のシーンレイアウト生成を容易にするなど,複数のダウンストリームアプリケーションにまたがる機能を示す。
より広いビジョンコミュニティに利益をもたらすため、LychSimは、完全なソースコードとさまざまなデータアノテーションを含む、一般公開される予定である。
関連論文リスト
- Toward Visually Realistic Simulation: A Benchmark for Evaluating Robot Manipulation in Simulation [62.51953630639423]
既存のベンチマークには視覚的リアリズムがなく、シミュレーションと現実の間に大きな領域ギャップが生じる。
シミュレーションにおけるロボット操作評価のための,視覚的にリアルなベンチマークであるVISERを提案する。
VISERは、物理ベースのレンダリング(PBR)素材を備えた1000以上の3Dアセットの高忠実度データセットと、それらのアセットから作成される3Dシーンを、レイアウトや生成によって構成する。
論文 参考訳（メタデータ） (2026-05-07T14:13:05Z) - GS-Playground: A High-Throughput Photorealistic Simulator for Vision-Informed Robot Learning [55.272458304179025]
GS-Playgroundは、エンド・ツー・エンドの知覚学習を促進するために設計されたマルチモーダル・シミュレーション・フレームワークである。
このシステムは640x480の解像度で104 FPSのスループットを達成し、大規模な視覚的RLの障壁を著しく低減する。
論文 参考訳（メタデータ） (2026-04-28T10:05:39Z) - Asset Harvester: Extracting 3D Assets from Autonomous Driving Logs for Simulation [63.01022057888141]
Asset Harvesterはイメージ・ツー・3Dモデルとエンドツーエンドのパイプラインで、実際の運転ログからスパース・イン・ザ・ワン・オブジェクトの観察を完全なシミュレーション可能なアセットに変換する。
SparseViewDiTは、限定角度ビューやその他の実世界のデータ課題に対処するように明示的に設計されている。
論文 参考訳（メタデータ） (2026-04-20T16:20:57Z) - V-Dreamer: Automating Robotic Simulation and Trajectory Synthesis via Video Generation Priors [30.872127145725187]
V-Dreamerは、オープン語彙でシミュレーション可能な操作環境を生成する、完全に自動化されたフレームワークである。
V-Dreamerは、物理的に接地された3Dシーンを構成する新しい生成パイプラインを使用している。
我々は,本ポリシーがシミュレーションにおいて未確認オブジェクトに対して堅牢に一般化し,効率的なsim-to-real転送を実現することを示す。
論文 参考訳（メタデータ） (2026-03-19T12:00:04Z) - Mirage2Matter: A Physically Grounded Gaussian World Model from Video [87.9732484393686]
我々は、グラフィック駆動の世界モデリングおよびシミュレーションフレームワークであるSimulate Anythingを紹介する。
実世界の環境を3次元ガウススプレイティング(3DGS)による写実的シーン表現に再構築する。
次に、生成モデルを利用して、物理的に現実的な表現を復元し、精度校正ターゲットを介してシミュレーション環境に統合する。
論文 参考訳（メタデータ） (2026-01-24T07:43:57Z) - VirtualEnv: A Platform for Embodied AI Research [26.527818430035534]
Unreal Engine 5上に構築された次世代シミュレーションプラットフォームであるVirtualEnvを紹介します。
具体的でインタラクティブなシナリオにおいて、大きな言語モデル(LLM)のきめ細かいベンチマークを可能にする。
私たちはUnreal Engine上に構築されたユーザフレンドリなAPIを提供しており、研究者はLLM駆動エージェントをデプロイし、制御することができます。
論文 参考訳（メタデータ） (2026-01-12T14:04:38Z) - SimScale: Learning to Drive via Real-World Simulation at Scale [45.08991279559151]
本稿では,既存の運転ログ上に巨大な未確認状態を合成可能な,新規でスケーラブルなシミュレーションフレームワークを提案する。
我々のパイプラインは、高度なニューラルレンダリングとリアクティブ環境を利用して、高忠実度マルチビュー観測を生成する。
我々は、これらの新しいシミュレーション状態に対する擬似経験的軌跡生成機構を開発し、行動監視を行う。
論文 参考訳（メタデータ） (2025-11-28T17:17:38Z) - RealEngine: Simulating Autonomous Driving in Realistic Context [60.55873455475112]
RealEngineは3Dシーン再構成と新しいビュー合成技術を統合する新しい運転シミュレーションフレームワークである。
実世界のマルチモーダルセンサーデータを活用することで、RealEngineはバックグラウンドシーンとフォアグラウンドトラフィック参加者を別々に再構築し、非常に多様な現実的なトラフィックシナリオを実現する。
RealEngineは、非反応性シミュレーション、安全性テスト、マルチエージェントインタラクションの3つの重要な駆動シミュレーションカテゴリをサポートしている。
論文 参考訳（メタデータ） (2025-05-22T17:01:00Z) - VISTA 2.0: An Open, Data-driven Simulator for Multimodal Sensing and
Policy Learning for Autonomous Vehicles [131.2240621036954]
VISTAはオープンソースのデータ駆動シミュレータで、複数のタイプのセンサーを自律走行車に組み込む。
高忠実で実世界のデータセットを使用して、VISTAはRGBカメラ、3D LiDAR、イベントベースのカメラを表現し、シミュレートする。
センサタイプ毎に知覚制御ポリシーをトレーニングし,テストする能力を示し,フルスケールの自律走行車への展開を通じて,このアプローチのパワーを示す。
論文 参考訳（メタデータ） (2021-11-23T18:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。