論文の概要: Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds

• arxiv url: http://arxiv.org/abs/2610.28698v1
• Date: Tue, 20 Oct 2026 11:09:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.103006
• Title: Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds
• Title（参考訳）: ゲームにおけるスケーリング: さまざまな仮想世界での身体的エージェントの事前トレーニング
• Abstract要約: データのスケーリング、多様性、モデルのキャパシティは、物理的環境における具体的学習を改善した。 これらが視覚的スタイル,ダイナミクス,コントロール,目的の異なる仮想世界へと拡張するかどうかを検討する。 120のトレーニング構成は、0.8Bから27Bまでの4つのモデルサイズ、50から1600時間までの6つのデータ予算、Minecraftのみのデータから多様なマルチワールドコーパスまで、5つのモデルサイズに対応しています。
• 参考スコア（独自算出の注目度）: 34.80513421088384
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Scaling data, diversity and model capacity has improved embodied learning in physical environments, where diverse experiences remain grounded in shared physical laws. Whether these gains extend to virtual worlds with different visual styles, dynamics, controls, and objectives remains unclear. We investigate this question through a controlled study of continued pre-training (CPT) across three axes: data volume, diversity, and model size. Our 120 training configurations span four model sizes from 0.8B to 27B, six data budgets from 50 to 1,600 hours, and five mixtures ranging from Minecraft-only data to diverse multi-world corpora. We assess performance and generalization using three-level validation losses and gameplay benchmarks from in-corpus worlds to unseen worlds. Our results show: (1) more data improves in-corpus performance, diversity improves transfer to related worlds with limited gains in distant worlds, and model size improves data efficiency but generalizes worse to distant worlds under single-world training; (2) we observe an early interface phase with broad cross-world benefits and a later world phase with gains narrowed to in-corpus and related worlds, and fit an empirical scaling law relating validation loss to data volume, diversity and model size; and (3) our models are competitive with Minecraft specialists and frontier models in 3D worlds, and perform best in real-time settings. However, the limits of imitation and persistent gaps in distant worlds suggest that building generalist embodied agents requires richer training stages beyond continued pre-training.
• Abstract（参考訳）: データのスケーリング、多様性、モデルのキャパシティは、物理環境における具体的学習を改善した。 これらの利益が視覚的スタイル、ダイナミクス、コントロール、目的の異なる仮想世界にまで拡大するかどうかは、まだ不明である。 本研究では,データ量,多様性,モデルサイズという3つの軸にまたがる連続事前学習(CPT)の制御による検討を行った。 120のトレーニング構成は、0.8Bから27Bまでの4つのモデルサイズ、50から1600時間までの6つのデータ予算、Minecraftのみのデータから多様なマルチワールドコーパスまで、5つのミックスで構成されています。 3段階の検証損失と,コーパス内から見えない世界へのゲームプレイベンチマークを用いて,性能と一般化を評価する。 以上の結果から,(1)企業内性能の向上,多様性の向上,およびモデルサイズの向上により,データ効率は向上するが,単一世界トレーニングによる遠隔世界への一般化,(2)企業内および関連世界への利得の制限による早期インターフェースフェーズの観察,(3)データ量,多様性,モデルサイズに対する検証損失に関する実証的スケーリング則の適合,(3)モデルがMinecraftの専門家やフロンティアモデルと競合し,リアルタイムな設定が最善であることを示す。 しかし、遠い世界の模倣と永続的なギャップの限界は、一般の具体化エージェントを構築するには、継続した事前訓練以上の訓練段階が必要であることを示唆している。

関連論文リスト

• OmniDex: Scaling Dexterous Hand Grasping to Diverse Cluttered Scenes [38.67257633783911]
  Dexterous graspingは、AIを具現化した基本的なプリミティブであり、堅牢なモデルをトレーニングするために大量のデータを要求する。 本稿では,スラジッシュなシーンレベルの最適化を回避し,スケーラブルなシード・アンド・フィルタ戦略を提案する。 これは、260万のシーンと0.4Bのシーン固有のグリープグラウンド真実からなる前例のないベンチマークをもたらす。
  論文  参考訳（メタデータ） (2026-10-08T03:58:37Z)
• InternW0: A Foundational Physical World Model for Efficient Real-World Interactions [71.6162746447152]
  上海AI研究所からInternW物理世界モデルシリーズの最初のインスタンス化であるInternW0を紹介する。 フローマッチングを伴う非対称なビデオアクションアーキテクチャにより,将来の視覚力学と連続ロボット制御を学習する。 InternW0を約7,200時間の異質なロボットとエゴセントリックなデータでトレーニングし、その中には275時間のリアルタイムなエゴセントリックなデータセットであるEgoLabが含まれています。
  論文  参考訳（メタデータ） (2026-09-23T10:20:56Z)
• Depth-Regularized JEPA World Models Learn More Transferable Representations from Real Outdoor Robot Data [0.0]
  ロボットビデオデータから直接、より堅牢な潜伏ダイナミクスを学習する際のトレーニングにおける幾何学的事前学習として深度を導入する。 凍結表現型ビジュアルオドメトリープローブ,予測器によるサプライズ検出,多段潜時ロールアウト忠実度を用いて評価を行った。 その結果、軽量なトレーニング時間幾何学的事前学習により、実屋外データよりコンパクトなJEPAワールドモデルがより有用で、より伝達しやすいことを示す。
  論文  参考訳（メタデータ） (2026-07-15T00:58:45Z)
• Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL [0.8546394944138487]
  我々は、テキストベースの世界モデリングを、初期状態に分解可能な遷移力学問題として定式化する。 我々は、9つのオープンソース環境と12のフロンティアモデルファミリーにまたがる239,403の基底状態行動軌跡をキュレートする。 我々は,決定論的状態チェックを備えたGRPOトレーニングフレームワークを導入し,3つのOOD環境上でゼロショット転送処理を行う。
  論文  参考訳（メタデータ） (2026-05-07T00:40:32Z)
• Scaling Sim-to-Real Reinforcement Learning for Robot VLAs with Generative 3D Worlds [11.056626934546507]
  本研究では,3次元世界生成モデルを活用することで,一般性を犠牲にすることなく,省力で視覚言語モデルを微調整できることを示す。 生成したディジタルツインの品質によって実現されたシミュレート・トゥ・リアルトランスファーを実証した。
  論文  参考訳（メタデータ） (2026-03-19T06:22:11Z)
• WebWorld: A Large-Scale World Model for Web Agent Training [59.59257499344279]
  大規模にトレーニングされた最初のオープンウェブシミュレータである textbfWebWorld シリーズを紹介する。 WebWorldは1M以上のオープンWebインタラクションをトレーニングし、推論、マルチフォーマットデータ、30以上のステップのロングホライゾンシミュレーションをサポートする。 WebWorld合成トラジェクトリでトレーニングされたQwen3-14Bは,WebArenaで+9.2%向上し,GPT-4oに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2026-02-16T13:06:49Z)
• OmniWorld: A Multi-Domain and Multi-Modal Dataset for 4D World Modeling [86.12242953301121]
  我々は,4次元世界モデリングに特化した大規模マルチドメインマルチモーダルデータセットであるOmniWorldを紹介した。 既存の合成データセットと比較して、OmniWorld-Gameはよりリッチなモダリティカバレッジ、より大きなスケール、より現実的な動的インタラクションを提供する。 我々は、複雑な4D環境のモデリングにおいて、現在の最先端(SOTA)アプローチの限界を明らかにするための挑戦的なベンチマークを確立する。
  論文  参考訳（メタデータ） (2025-09-15T17:59:19Z)
• Scaling Offline Model-Based RL via Jointly-Optimized World-Action Model Pretraining [49.730897226510095]
  我々は,60億のトークンデータを持つアタリゲーム上で事前訓練されたオフラインモデルベースRLエージェントであるJOWA: Jointly-Reinforceed World-Action Modelを紹介する。 われわれの最大のエージェントは、1億5000万のパラメータを持ち、10%のサブサンプルオフラインデータだけで事前トレーニングされたゲーム上での人間レベルのパフォーマンス78.9%で、既存の最先端の大規模なオフラインRLベースラインを31.6%上回っている。
  論文  参考訳（メタデータ） (2024-10-01T10:25:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。