論文の概要: LaLa-World: Scaling Latent World Models with Natural Language Actions

• arxiv url: http://arxiv.org/abs/2610.27851v2
• Date: Wed, 21 Oct 2026 01:29:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.089543
• Title: LaLa-World: Scaling Latent World Models with Natural Language Actions
• Title（参考訳）: LaLa-World: 自然言語アクションによる潜在世界モデルのスケーリング
• Abstract要約: ララワールド(LaLa-World)は、シミュレーションとロボット軌道から学習する言語条件付きラテントワールドモデルである。 言語モデルに基づいて予測器を構築し、将来の潜伏状態を予測しながら言語条件を解釈できるようにする。 RAEv2ベースのビデオ生成モデルベースラインと比較すると、LaLa-Worldは6倍のトレーニングコストと13.9倍の高速プランニング性能を持つ。
• 参考スコア（独自算出の注目度）: 56.013277961423654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper shows that JEPA-style latent world models (LWMs) can learn across diverse domains and data sources by adopting the language-conditioned interface of video generation models. We establish this approach as an effective and efficient basis for planning with imagination and downstream policy fine-tuning. To this end, we introduce LaLa-World, a Language-conditioned Latent World model that learns from simulation and robot trajectories together with broader image and video data. Two designs make this work. First, we describe both numerical actions and visual changes in language, enabling joint training of a single future predictor across heterogeneous datasets. Second, we build the predictor on a language model, allowing it to interpret language conditions while predicting future latent states. The resulting predictor achieves higher average MPC planning performance than existing LWMs trained separately for each domain or task. Adding image and video data further improves average planning performance and robustness to action phrasing. In a matched comparison with an RAEv2-based video generation model baseline, LaLa-World reaches comparable planning performance with $6\times$ less training cost and $13.9\times$ faster planning. Beyond planning, the pretrained LaLa-World serves as an initialization for LaLa-Policy, which jointly predicts actions and future visual representations. LaLa-Policy performs competitively with Cosmos Policy on LIBERO and RoboCasa, with up to $5.5\times$ faster inference.
• Abstract（参考訳）: 本稿では,JEPAスタイルの潜在世界モデル (LWM) が,映像生成モデルの言語条件インタフェースを採用することで,多様なドメインやデータソース間で学習可能であることを示す。 我々は,この手法を,想像力と下流政策の微調整による計画の効率的かつ効率的な基盤として確立する。 この目的のために,Language-conditioned Latent WorldモデルであるLaLa-Worldを紹介した。 2つのデザインがこの仕事をする。 まず、言語における数値的行動と視覚的変化の両方を説明し、不均一なデータセットをまたいだ1つの未来予測器の協調訓練を可能にする。 第二に、言語モデルに基づいて予測器を構築し、将来の潜伏状態を予測しながら言語条件を解釈できるようにする。 得られた予測器は、各ドメインやタスクに対して個別に訓練された既存のLWMよりも平均的なMPC計画性能を達成する。 画像とビデオデータを追加することで、平均的な計画性能とロバスト性が向上する。 RAEv2ベースのビデオ生成モデルベースラインと比較すると、LaLa-Worldは6\times$トレーニングコストが低く、13.9\times$高速プランニングのパフォーマンスに匹敵する。 計画の他に、事前訓練されたLaLa-WorldはLaLa-Policyの初期化として機能し、行動と将来の視覚表現を共同で予測する。 LaLa-PolicyはLIBEROとRoboCasaのコスモス・ポリシーと競合し、最大5.5\times$高速推論を行う。

関連論文リスト

• Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation [88.94027963091206]
  具体的インテリジェンスのための言語条件付きビデオワールドモデルであるQwen-RobotWorldを紹介する。 ロボット操作、自律運転、屋内ナビゲーション、人間とロボットの移動など、現在の観察結果から、物理的に基礎付けられた将来の視覚軌道を予測する。
  論文  参考訳（メタデータ） (2026-06-15T17:52:31Z)
• World-Language-Action Model for Unified World Modeling, Language Reasoning, and Action Synthesis [37.19737492128721]
  我々は,新しい基礎モデルのクラスとして,世界言語アクションモデルを提案する。 WLAはテキストのインストラクション、画像、ロボットステートを入力として、テキストのサブタスク、サブゴールイメージ、ロボットアクションを共同で予測する。 We show that WLA-0 achieve a state-of-the-the-art multi-task and long-horizon learning abilities、例えば、RoboTwin2.0 Clean の92.94%、RMBench の56.5%の成功率。
  論文  参考訳（メタデータ） (2026-06-04T10:23:01Z)
• Learning Vision-Language-Action World Models for Autonomous Driving [15.103497388527943]
  VLA(Vision-Language-Action)モデルは最近、エンドツーエンドの自動運転において顕著な進歩を遂げている。 VLAモデルは時相力学と世界整合性の明示的なモデリングを欠いていることが多い。 VLA-World(VLA-World)は、予測的想像力と反射的推論を統一する、シンプルで効果的なVLA世界モデルである。
  論文  参考訳（メタデータ） (2026-04-10T07:38:05Z)
• DriveDreamer-Policy: A Geometry-Grounded World-Action Model for Unified Generation and Planning [44.543763428623976]
  DriveDreamer-Policyは、深度生成、将来のビデオ生成、モーションプランニングを統合した統合運転ワールドアクションモデルである。 提案したモデルは、モジュラリティと遅延制御性を維持しながら、より一貫性のある未来とより情報のある駆動動作を生成する。
  論文  参考訳（メタデータ） (2026-04-02T08:33:18Z)
• Uni-World VLA: Interleaved World Modeling and Planning for Autonomous Driving [52.04950569530877]
  我々は、将来のフレーム予測と軌道計画の密接なインターリーブを行う統合視覚言語行動モデルUni-World VLAを提案する。 提案手法は,高忠実度将来のフレーム予測を行いながら,競合する閉ループ計画性能を実現する。
  論文  参考訳（メタデータ） (2026-03-28T14:39:51Z)
• GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
  GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。 実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-18T00:52:02Z)
• Latent Action Pretraining Through World Modeling [1.988007188564225]
  自己教師型手法で模倣学習モデルを事前学習するためのモデルに依存しないフレームワークであるLAWMを提案する。 当社のフレームワークは,タスクや環境,実施環境の移動に有効であるように設計されています。
  論文  参考訳（メタデータ） (2025-09-22T21:19:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。