論文の概要: Evolving Virtual World with Delta-Engine
- arxiv url: http://arxiv.org/abs/2408.05842v3
- Date: Fri, 30 Aug 2024 15:51:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-02 17:38:33.003217
- Title: Evolving Virtual World with Delta-Engine
- Title（参考訳）: デルタエンジンによる仮想世界を進化させる
- Authors: Hongqiu Wu, Zekai Xu, Tianyang Xu, Shize Wei, Yan Wang, Jiale Hong, Weiqi Wu, Hai Zhao, Min Zhang, Zhezhi He,
- Abstract要約: この仮想世界を駆動する特別なエンジンであるtextemphDelta-Engineを提案する。
デルタエンジンの重要な特徴は、世界中の未知の要素へのスケーラビリティである。
- 参考スコア（独自算出の注目度）: 60.488864128937955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we focus on the \emph{virtual world}, a cyberspace where people can live in. An ideal virtual world shares great similarity with our real world. One of the crucial aspects is its evolving nature, reflected by individuals' capability to grow and thereby influence the objective world. Such dynamics is unpredictable and beyond the reach of existing systems. For this, we propose a special engine called \textbf{\emph{Delta-Engine}} to drive this virtual world. $\Delta$ associates the world's evolution to the engine's scalability. It consists of a base engine and a neural proxy. The base engine programs the prototype of the virtual world; given a trigger, the neural proxy generates new snippets on the base engine through \emph{incremental prediction}. This paper presents a full-stack introduction to the delta-engine. The key feature of the delta-engine is its scalability to unknown elements within the world, Technically, it derives from the prefect co-work of the neural proxy and the base engine, and the alignment with high-quality data. We introduce an engine-oriented fine-tuning method that embeds the base engine into the proxy. We then discuss the human-LLM collaborative design to produce novel and interesting data efficiently. Eventually, we propose three evaluation principles to comprehensively assess the performance of a delta engine: naive evaluation, incremental evaluation, and adversarial evaluation.
- Abstract（参考訳）: 本稿では,人々が住むことができるサイバー空間である「emph{virtual world}」に焦点を当てる。
理想的な仮想世界は、私たちの現実世界と非常によく似ている。
重要な側面の1つは、その進化する性質であり、個人が成長し、それによって客観的世界に影響を与える能力に反映されている。
このような力学は予測不可能であり、既存のシステムの範囲を超えている。
そこで我々は,この仮想世界を駆動する特別なエンジンである「textbf{\emph{Delta-Engine}}」を提案する。
$\Delta$は、世界の進化とエンジンのスケーラビリティを関連付ける。
ベースエンジンとニューラルプロキシで構成される。
ベースエンジンは仮想世界のプロトタイプをプログラムし、トリガーが与えられたら、ニューラルネットワークはベースエンジン上で \emph{incremental prediction} を通じて新しいスニペットを生成する。
本稿ではデルタエンジンのフルスタック導入について述べる。
デルタエンジンの重要な特徴は、世界中の未知の要素へのスケーラビリティである。技術的には、ニューラルネットワークとベースエンジンの完全なコワーキング、高品質なデータとの整合性から導かれる。
本稿では,ベースエンジンをプロキシに組み込むエンジン指向の微調整手法を提案する。
次に、人間とLLMの協調設計を議論し、新しい興味深いデータを効率よく生成する。
最終的に,デルタエンジンの性能を総合的に評価する3つの評価原則を提案する。
関連論文リスト
- Exploring the Interplay Between Video Generation and World Models in Autonomous Driving: A Survey [61.39993881402787]
世界モデルとビデオ生成は、自動運転の領域において重要な技術である。
本稿では,この2つの技術の関係について検討する。
映像生成モデルと世界モデルとの相互作用を分析することにより,重要な課題と今後の研究方向性を明らかにする。
論文 参考訳（メタデータ） (2024-11-05T08:58:35Z) - WorldSimBench: Towards Video Generation Models as World Simulators [79.69709361730865]
我々は、予測モデルの機能を階層に分類し、WorldSimBenchと呼ばれる2つの評価フレームワークを提案することにより、World Simulatorの評価の第一歩を踏み出す。
WorldSimBenchにはExplicit Perceptual EvaluationとImplicit Manipulative Evaluationが含まれている。
我々の総合的な評価は、ビデオ生成モデルのさらなる革新を促進する重要な洞察を与え、World Simulatorsをエンボディされた人工知能への重要な進歩と位置づけている。
論文 参考訳（メタデータ） (2024-10-23T17:56:11Z) - Solving Motion Planning Tasks with a Scalable Generative Model [15.858076912795621]
本稿では,運転シーンのダイナミクスを学習する生成モデルに基づく効率的な解を提案する。
我々の革新的なデザインは、モデルがフルオートレグレッシブモードとパーシャルオートレグレッシブモードの両方で動作できるようにする。
提案した生成モデルは,様々な動作計画タスクの基盤となる可能性がある。
論文 参考訳（メタデータ） (2024-07-03T03:57:05Z) - EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。
EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。
我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
論文 参考訳（メタデータ） (2024-01-16T18:55:22Z) - Which architecture should be implemented to manage data from the real
world, in an Unreal Engine 5 simulator and in the context of mixed reality? [0.0]
本稿では, 理論的, 運用的両面において, この問題の詳細な分析を行う。
C++システムは詳細とサードパーティのライブラリでレビューされている。
最後の章では、大規模産業用3Dアプリケーションに有用な汎用アーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-05-16T07:51:54Z) - Steps towards prompt-based creation of virtual worlds [1.2891210250935143]
プロンプトベースの手法はVRレベルの編集を促進できるだけでなく、ゲームプレイの一部にもなり得ることを示す。
私たちは、VRにおけるAI支援共同創造の差し迫った課題を議論することで結論付けます。
論文 参考訳（メタデータ） (2022-11-10T21:13:04Z) - GIPSO: Geometrically Informed Propagation for Online Adaptation in 3D
LiDAR Segmentation [60.07812405063708]
3Dポイントクラウドセマンティックセグメンテーションは、自動運転に基本である。
文学におけるほとんどのアプローチは、動的シーンを扱う際に、ドメインシフトをどのように扱うかという重要な側面を無視している。
本稿では,本研究分野における最先端技術について述べる。
論文 参考訳（メタデータ） (2022-07-20T09:06:07Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳（メタデータ） (2021-11-15T18:37:43Z) - Out of the Box: Embodied Navigation in the Real World [45.97756658635314]
シミュレーションで得られた知識を現実世界に伝達する方法を示す。
モデルは1台のIntel RealSenseカメラを搭載したLoCoBotにデプロイします。
本実験では,得られたモデルを実世界に展開することで,満足のいく結果が得られることを示した。
論文 参考訳（メタデータ） (2021-05-12T18:00:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。