論文の概要: World Models as an Intermediary between Agents and the Real World
- arxiv url: http://arxiv.org/abs/2602.00785v1
- Date: Sat, 31 Jan 2026 15:52:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.400161
- Title: World Models as an Intermediary between Agents and the Real World
- Title（参考訳）: エージェントと現実世界の仲介者としての世界モデル
- Authors: Sherry Yang,
- Abstract要約: 本稿では,エージェントと現実世界の仲介者として,世界モデルを用いるべきだと論じる。
我々は、世界モデルが極端に非政治的な学習のような高コストな行動の基本的な障壁を克服する方法について論じる。
我々は、世界モデルが幅広い領域にまたがるエージェントに対して、批判的で豊かな学習信号を提供する方法を実証する。
- 参考スコア（独自算出の注目度）: 7.025260853701487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) agents trained using reinforcement learning has achieved superhuman performance in low-cost environments like games, mathematics, and coding. However, these successes have not translated to complex domains where the cost of interaction is high, such as the physical cost of running robots, the time cost of ML engineering, and the resource cost of scientific experiments. The true bottleneck for achieving the next level of agent performance for these complex and high-cost domains lies in the expense of executing actions to acquire reward signals. To address this gap, this paper argues that we should use world models as an intermediary between agents and the real world. We discuss how world models, viewed as models of dynamics, rewards, and task distributions, can overcome fundamental barriers of high-cost actions such as extreme off-policy learning and sample inefficiency in long-horizon tasks. Moreover, we demonstrate how world models can provide critical and rich learning signals to agents across a broad set of domains, including machine learning engineering, computer use, robotics, and AI for science. Lastly, we identify the challenges of building these world models and propose actionable items along dataset curation, architecture design, scaling, and evaluation of world models.
- Abstract（参考訳）: 強化学習を用いて訓練された大規模言語モデル(LLM)エージェントは、ゲーム、数学、コーディングなどの低コスト環境で超人的性能を達成した。
しかしながら、これらの成功は、ロボットの動作の物理的コスト、MLエンジニアリングの時間コスト、科学実験の資源コストなど、相互作用のコストが高い複雑な領域に翻訳されていない。
これらの複雑で高コストなドメインに対して、次のレベルのエージェントパフォーマンスを達成するための真のボトルネックは、報酬信号を取得するためのアクションを実行することにある。
このギャップに対処するために、エージェントと現実世界の間の仲介手段として、世界モデルを用いるべきである、と本論文は主張する。
我々は,世界モデルを動的,報酬,タスク分布のモデルとみなし,極端に非政治的な学習や長期的タスクにおけるサンプル非効率といった高コスト行動の基本的な障壁を克服する方法について論じる。
さらに、我々は、機械学習工学、コンピュータ利用、ロボティクス、科学のためのAIなど、幅広い分野のエージェントに対して、世界モデルがどのようにクリティカルでリッチな学習信号を提供できるかを実証する。
最後に、これらの世界モデルを構築する上での課題を特定し、データセットのキュレーション、アーキテクチャ設計、スケーリング、世界モデルの評価に沿って実行可能なアイテムを提案する。
関連論文リスト
- DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos [110.98100817695307]
私たちはDreamDojoを紹介します。DreamDojoは、多種多様なインタラクションと、エゴセントリックな人間ビデオの44万時間から厳密なコントロールを学ぶ基礎的な世界モデルです。
本研究は, 遠隔操作, 政策評価, モデルベース計画など, 生成的世界モデルに基づくいくつかの重要な応用を可能にする。
論文 参考訳（メタデータ） (2026-02-06T18:49:43Z) - World-Gymnast: Training Robots with Reinforcement Learning in a World Model [4.491505634160759]
本稿では、アクション条件付きビデオワールドモデルにポリシーをロールアウトすることで、視覚言語アクションポリシーのRL微調整を行うWorld-Gymnastを提案する。
Bridgeロボットのセットアップでは、World-GymnastはSFTを最大18倍上回り、ソフトウェアシミュレータを最大2倍上回る。
我々の結果は、クラウドで世界モデルを学び、ロボットポリシーを訓練することが、デモで作業するロボットと、誰でも使えるロボットのギャップを埋める鍵になり得ることを示唆している。
論文 参考訳（メタデータ） (2026-02-02T18:44:45Z) - A Step Toward World Models: A Survey on Robotic Manipulation [58.8419978790227]
本稿では,ロボット操作の手法のレビューを通じて,世界モデルのコア機能を示すアプローチについて考察する。
我々は、認識、予測、制御にまたがる役割を分析し、主要な課題と解決策を特定し、完全に実現された世界モデルが持つべきコアコンポーネント、能力、機能を蒸留する。
論文 参考訳（メタデータ） (2025-10-31T00:57:24Z) - Generative World Models of Tasks: LLM-Driven Hierarchical Scaffolding for Embodied Agents [0.0]
本稿では,世界物理学とそのタスク意味論をモデル化した意思決定のための効果的な世界モデルを提案する。
低リソースマルチエージェントサッカーにおける2024年の研究の体系的レビューは、象徴的手法と階層的手法を統合するための明確な傾向を明らかにしている。
私たちはこの傾向を階層的タスク環境(HTE)のフレームワークとして形式化し、シンプルでリアクティブな振る舞いと洗練された戦略的チームのプレーのギャップを埋めるのに不可欠です。
論文 参考訳（メタデータ） (2025-09-05T01:03:51Z) - Learning Local Causal World Models with State Space Models and Attention [1.5498250598583487]
本研究では,SSMが単純な環境のダイナミクスをモデル化し,因果モデルを同時に学習できることを示す。
我々は、SSMの強みに傾倒するさらなる実験の道を開き、因果意識でそれらをさらに強化する。
論文 参考訳（メタデータ） (2025-05-04T11:57:02Z) - AdaWorld: Learning Adaptable World Models with Latent Actions [76.50869178593733]
我々は,効率的な適応を実現する革新的な世界モデル学習手法であるAdaWorldを提案する。
主要なアイデアは、世界モデルの事前トレーニング中にアクション情報を統合することである。
次に、これらの潜伏行動を条件とした自己回帰的世界モデルを開発する。
論文 参考訳（メタデータ） (2025-03-24T17:58:15Z) - Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics [50.191655141020505]
この研究は、長期水平予測、エラー蓄積、およびsim-to-real転送の課題に対処することで、モデルに基づく強化学習を前進させる。
スケーラブルでロバストなフレームワークを提供することで、現実のアプリケーションにおいて適応的で効率的なロボットシステムを実現することができる。
論文 参考訳（メタデータ） (2025-01-17T10:39:09Z) - $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。
我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
論文 参考訳（メタデータ） (2024-10-31T17:22:30Z) - RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。
実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
論文 参考訳（メタデータ） (2022-12-13T18:55:15Z) - Active World Model Learning with Progress Curiosity [12.077052764803163]
世界モデルは、世界がどのように進化するかの自己監督的な予測モデルである。
本研究では,このような好奇心駆動型アクティブワールドモデル学習システムの設計方法について検討する。
我々は、スケーラブルで効果的な学習進捗に基づく好奇心信号である$gamma$-Progressによって駆動されるAWMLシステムを提案する。
論文 参考訳（メタデータ） (2020-07-15T17:19:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。