論文の概要: FutureWorlds: Learning Robotic World Models from Alternative Futures
- arxiv url: http://arxiv.org/abs/2610.01019v1
- Date: Thu, 01 Oct 2026 04:04:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.888521
- Title: FutureWorlds: Learning Robotic World Models from Alternative Futures
- Title(参考訳): FutureWorlds: 代替未来からロボットの世界モデルを学ぶ
- Abstract要約: FutureWorldsは、候補構築、履歴の保守、相対的な品質からの学習を統合するフレームワークである。
マルチモーダルな離散自己回帰モデルに基づいて構築されたFutureWorldsは、強化学習中に多様なビームサーチを使用して、信頼性と多様性のバランスをとる候補となる未来を構築する。
- 参考スコア(独自算出の注目度): 63.860917821424955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic world models predict action-conditioned future scenes, providing a foundation for understanding action outcomes. However, turning alternative predictions into useful learning signals remains challenging: similar candidates limit informative quality comparisons, while diverging trajectories require persistent maintenance of their individual histories. We introduce FutureWorlds, a framework that unifies candidate construction, history maintenance, and learning from relative quality. Built on a multimodal discrete autoregressive model, FutureWorlds uses diverse beam search during reinforcement learning to construct candidate futures that balance confidence and diversity. Candidate-specific bounded memory preserves scene states and ensures that generation and policy scoring use matching histories. We further propose MemSPO (Memory-Conditioned Search-Guided Policy Optimization), which converts video trajectory rewards into group-relative advantages to optimize the world model. On RT-1, BridgeV2, and RoboCasa, FutureWorlds reduces LPIPS for 32-frame predictions by 14.78%, 20.84%, and 9.12%, respectively, relative to the strongest baseline on each dataset. Under fixed evaluation configurations, only 200 MemSPO updates further improve generation quality and support continued prediction beyond the training horizon. Memory ablations, decoding sensitivity analysis, and optical-flow evaluation show that these gains extend beyond visual quality to more accurate motion prediction and more consistent object states. Project page and code: https://github.com/Alexander-wu/FutureWorlds.
- Abstract(参考訳): ロボットの世界モデルは、アクション条件付き将来のシーンを予測し、アクション結果を理解する基盤を提供する。
しかし、他の予測を有用な学習信号に変えることは依然として困難であり、同様の候補は情報的品質比較を制限し、軌跡のばらつきは個々の履歴の持続的維持を必要とする。
本稿では,候補構築,歴史維持,相対的品質からの学習を統一するフレームワークであるFutureWorldsを紹介する。
マルチモーダルな離散自己回帰モデルに基づいて構築されたFutureWorldsは、強化学習中に多様なビームサーチを使用して、信頼性と多様性のバランスをとる候補となる未来を構築する。
候補固有の有界メモリはシーン状態を保持し、生成とポリシースコアリングがマッチング履歴を使用することを保証します。
さらに,ビデオトラジェクトリ報酬をグループ相対的な利点に変換し,世界モデルを最適化するMemSPO(Memory-Conditioned Search-Guided Policy Optimization)を提案する。
RT-1、BridgeV2、RoboCasaでは、FutureWorldsが32フレーム予測のLPIPSをそれぞれ14.78%、20.84%、9.12%削減している。
一定の評価設定の下では、生成品質をさらに改善し、トレーニングの地平線を越えた継続的な予測をサポートするのは200MemSPOアップデートのみである。
メモリの短縮、復号感度分析、光フロー評価は、これらの向上が視覚的品質を超えて、より正確な動き予測やより一貫性のあるオブジェクト状態にまで及んでいることを示している。
プロジェクトページとコード:https://github.com/Alexander-wu/FutureWorlds.com
関連論文リスト
- Mem-World: Memory-Augmented Action-Conditioned World Models for Persistent Robot Manipulation [55.42006264038458]
アクション条件付き世界モデルは、ロボット学習の有望なパラダイムとして登場した。
Mem-Worldはメモリ拡張されたマルチビューアクション条件の世界モデルである。
W-VMemは4次元手首ビュー中心のサーベイルインデクシングメモリで、歴史的観測を時間的に変化する表面要素に固定する。
論文 参考訳(メタデータ) (2026-06-17T11:42:00Z) - SparseWorld: Enhancing End-to-End Autonomous Driving via World Models with Sparse Scene Representation [13.699319434868483]
本稿では,シーンの重要レイアウトのみを予測する軽量な世界モデルであるSparseWorldを紹介する。
SparseWorldは衝突のリスクを大幅に低減し、nuScenesデータセットのオープンループ計画メトリクスにおける最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-05-23T02:30:33Z) - Persistent Robot World Models: Stabilizing Multi-Step Rollouts via Reinforcement Learning [18.397872306430006]
アクションコンディショニングされたロボットワールドモデルは、ロボットアクションシーケンスが与えられた操作されたシーンの将来のビデオフレームを生成する。
これらのモデルは、短時間の予測に最適化され、自動回帰的にデプロイされたときに分解される。
我々は,自己回帰的なロールアウトで世界モデルを訓練する強化学習スキームを導入する。
論文 参考訳(メタデータ) (2026-03-26T17:36:08Z) - GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
論文 参考訳(メタデータ) (2026-03-18T00:52:02Z) - FutureOmni: Evaluating Future Forecasting from Omni-Modal Context for Multimodal LLMs [94.33687833634275]
Future Omniは、オーディオ視覚環境から全モードの将来の予測を評価するために設計された最初のベンチマークである。
Future Omniは、スケーラブルなLCM支援の人-イン-ザ-ループパイプラインで構築されており、919のビデオと1,034のマルチチョイスQAペアを含んでいる。
13のOmni-modalモデルと7つのビデオオンリーモデルによる評価は、現在のシステムは、特に音声の重みのあるシナリオにおいて、音声・視覚の将来の予測に苦慮していることを示している。
論文 参考訳(メタデータ) (2026-01-20T10:47:20Z) - COME: Adding Scene-Centric Forecasting Control to Occupancy World Model [18.815436110557112]
世界モデルは、環境力学をシミュレートし、合成データを生成する自律運転にとって重要である。
既存の方法では、エゴ車の動きを乱すのに苦労している(シーンの進化から振り返る)
本研究では,シーン中心の座標系を利用して環境変化をエゴ運動から分離することを提案する。
論文 参考訳(メタデータ) (2025-06-16T09:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。