論文の概要: EnvDreamer: Large-Scale Multimodal-to-Environment Generation for Embodied AI

• arxiv url: http://arxiv.org/abs/2610.04301v1
• Date: Sat, 03 Oct 2026 05:28:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 11:44:34.349778
• Title: EnvDreamer: Large-Scale Multimodal-to-Environment Generation for Embodied AI
• Title（参考訳）: EnvDreamer: エンボディAIのための大規模マルチモーダル環境生成
• Abstract要約: EnvDreamerは、大規模言語と視覚言語モデルを使用して、AIとロボットのトレーニングを具体化するUnreal Engine 5環境を生成するフレームワークである。 EnvDreamerは、ナビゲーション、インタラクション、操作をまたいだトレーニングと評価のための仮想環境をパスした、大きく、多様で、インタラクティブで、カスタマイズ可能な、バリデータのサンプリングを可能にする。
• 参考スコア（独自算出の注目度）: 23.96852844115065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large datasets and high capacity models have accelerated progress in vision and language. This work introduces a platform aimed at bringing comparable gains to embodied learning, world models, and robotics. We present EnvDreamer, a framework that uses large language and vision language models to generate Unreal Engine 5 environments for embodied AI and robot training. EnvDreamer enables sampling of large, diverse, interactive, customizable, and validator passed virtual environments for training and evaluation across navigation, interaction, and manipulation. We illustrate the platform with a large set of generated scenes and simple baselines. Policies trained on EnvDreamer generated environments, without explicit mapping or human task supervision, achieve competitive results on multiple embodied benchmarks spanning navigation, rearrangement, and manipulation. EnvDreamer also supports image-conditioned reconstruction for real-to-sim studies. Finally, we release EnvDreamer-20k, a dataset of 20,000 validator passed environments with task programs, scene graphs, trajectories, and metadata to support reproducible benchmarking.
• Abstract（参考訳）: 大規模なデータセットと高容量モデルにより、ビジョンと言語の進歩が加速された。 この研究は、具体的学習、世界モデル、ロボット工学に匹敵する利益をもたらすプラットフォームを導入している。 EnvDreamerは、大規模言語と視覚言語モデルを使用して、AIとロボットのトレーニングを具体化するUnreal Engine 5環境を生成するフレームワークである。 EnvDreamerは、ナビゲーション、インタラクション、操作をまたいだトレーニングと評価のための仮想環境をパスした、大きく、多様で、インタラクティブで、カスタマイズ可能な、バリデータのサンプリングを可能にする。 プラットフォームには生成されたシーンとシンプルなベースラインが多数含まれています。 EnvDreamerでトレーニングされたポリシーは、明示的なマッピングやヒューマンタスクの監督なしに、ナビゲーション、再配置、操作にまたがる複数の実施ベンチマークで競合する結果を達成する。 EnvDreamerは、リアルタイム研究のためのイメージコンディショニングの再構築もサポートする。 最後に、タスクプログラム、シーングラフ、トラジェクトリ、および再現可能なベンチマークをサポートするメタデータを備えた2万のバリデータからなるデータセットであるEnvDreamer-20kをリリースする。

関連論文リスト

• V-Dreamer: Automating Robotic Simulation and Trajectory Synthesis via Video Generation Priors [30.872127145725187]
  V-Dreamerは、オープン語彙でシミュレーション可能な操作環境を生成する、完全に自動化されたフレームワークである。 V-Dreamerは、物理的に接地された3Dシーンを構成する新しい生成パイプラインを使用している。 我々は,本ポリシーがシミュレーションにおいて未確認オブジェクトに対して堅牢に一般化し,効率的なsim-to-real転送を実現することを示す。
  論文  参考訳（メタデータ） (2026-03-19T12:00:04Z)
• MobileManiBench: Simplifying Model Verification for Mobile Manipulation [70.30578259859512]
  MobileManiBenchは、モバイルベースのロボット操作のための大規模なベンチマークである。 MobileManiBenchには、2つのモバイルプラットフォーム(パラレルグリッパーとデキソラスハンドロボット)、2つの同期カメラ(頭と右手首)、630のオブジェクト(オープン、クローズ、プル、プッシュ、ピック)、5つのスキル(オープン、クローズ、プッシュ、ピック)、100以上のタスクが現実的なシーンで実行される。
  論文  参考訳（メタデータ） (2026-02-05T02:49:52Z)
• Latent Action Pretraining Through World Modeling [1.988007188564225]
  自己教師型手法で模倣学習モデルを事前学習するためのモデルに依存しないフレームワークであるLAWMを提案する。 当社のフレームワークは,タスクや環境,実施環境の移動に有効であるように設計されています。
  論文  参考訳（メタデータ） (2025-09-22T21:19:10Z)
• Dreamland: Controllable World Creation with Simulator and Generative Models [32.427050300421115]
  大規模ビデオ生成モデルは、動的世界創造のために多様で現実的な視覚コンテンツを合成することができる。 しかし、多くの場合、要素の操作性に欠けており、シーンの編集やAIエージェントの訓練に使用を妨げている。 本研究では,物理シミュレーションの粒度制御と大規模事前学習型生成モデルのフォトリアリスティックコンテンツ出力を組み合わせたハイブリッドワールドジェネレーションフレームワークDreamlandを提案する。
  論文  参考訳（メタデータ） (2025-06-09T17:59:52Z)
• DreamGen: Unlocking Generalization in Robot Learning through Video World Models [120.25799361925387]
  DreamGenは、ニューラルトラジェクトリを通じて行動や環境を一般化するロボットポリシーをトレーニングするためのパイプラインだ。 私たちの研究は、手作業によるデータ収集を超えて、ロボット学習をスケールするための、有望な新たな軸を確立します。
  論文  参考訳（メタデータ） (2025-05-19T04:55:39Z)
• TartanGround: A Large-Scale Dataset for Ground Robot Perception and Navigation [19.488886693695946]
  TartanGroundは、地上ロボットの認識と自律性を向上する大規模なマルチモーダルデータセットである。 我々は70の環境にまたがって910の軌道を集め、150万のサンプルを得た。 TartanGroundは、幅広い学習ベースのタスクのトレーニングと評価のためのテストベッドとして機能する。
  論文  参考訳（メタデータ） (2025-05-15T20:35:06Z)
• LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning [50.99807031490589]
  LLARVAは,ロボット学習タスク,シナリオ,環境を統一するための,新しい指導指導法で訓練されたモデルである。 我々は,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成し,モデルを事前学習する。 実験によって強い性能が得られ、LLARVAは現代のいくつかのベースラインと比較してよく機能することを示した。
  論文  参考訳（メタデータ） (2024-06-17T17:55:29Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。