論文の概要: Vision-Language Agents Can Learn in Their Own Latent Worlds

• arxiv url: http://arxiv.org/abs/2610.36925v1
• Date: Tue, 27 Oct 2026 09:51:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.558189
• Title: Vision-Language Agents Can Learn in Their Own Latent Worlds
• Title（参考訳）: 視覚ランゲージのエージェントは、自分の潜伏した世界で学べる
• Abstract要約: Dwellは、視覚言語モデルを潜在遷移演算子として再構成するモデルベースの強化学習フレームワークである。 Dwellはトレーニング可能なメソッドの中で最も優れた全体的なパフォーマンスを実現し、イマジネーションに必要な計算を大幅に削減した。
• 参考スコア（独自算出の注目度）: 29.176523796044517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from experience is essential for building the next generation of agents that continually expand their capabilities. Pretrained vision-language models (VLMs) already internalize rich world knowledge, yet this knowledge is rarely leveraged to drive policy improvement through online interaction. Realizing this potential efficiently remains challenging, as policy updates shift the agent's interaction distribution, requiring the world model to adapt accordingly, while continually updating large pretrained models is computationally expensive. To address this challenge, we introduce Dwell, a model-based reinforcement learning (RL) framework that reframes a VLM as a recurrent latent transition operator, endowing it with the ability to predict, adjust, and act in latent space. Leveraging the VLM's own representations and its dual role as both world model and policy, the agent continually learns from real interactions to anticipate and evaluate action outcomes, and from latent imagination to improve its behavior. Across five interactive visual environments, Dwell achieves the strongest overall performance among trainable methods while substantially reducing the compute required for imagination, showing that effective world models for VLM agents need not reconstruct the future; they need to predict futures that are useful for action. Our code is publicly available at https://github.com/Tom111-lhx/Dwell
• Abstract（参考訳）: 経験から学ぶことは、その能力を継続的に拡張する次世代エージェントを構築するために不可欠である。 事前訓練された視覚言語モデル(VLM)は、既に豊かな世界の知識を内包しているが、オンラインインタラクションを通じて政策改善を促進するためにこの知識を活用することは滅多にない。 ポリシー更新はエージェントの相互作用分布をシフトさせ、世界モデルがそれに合わせて適応することを要求する一方で、大きな事前訓練されたモデルの継続的な更新は計算コストがかかるため、このポテンシャルを効果的に実現することは依然として困難である。 この課題に対処するために、モデルベースの強化学習(RL)フレームワークであるDwellを紹介し、VLMを遅延遷移演算子として再構成し、遅延空間内での予測、調整、動作を可能にする。 VLM自身の表現と世界モデルと政策の両面での二重の役割を活かし、エージェントは実際の相互作用から学び、行動の結果を予測し評価し、潜在的な想像力から行動を改善する。 5つのインタラクティブな視覚環境の中で、Dwellはトレーニング可能なメソッドの中で最も優れた全体的なパフォーマンスを達成しつつ、想像力に要する計算を大幅に削減し、VLMエージェントの効果的な世界モデルが未来を再構築する必要はないことを示した。 私たちのコードはhttps://github.com/Tom111-lhx/Dwellで公開されています。

関連論文リスト

• How Mobile World Model Guides GUI Agents? [51.29718003718467]
  デルタテキスト、フルテキスト、拡散ベースのイメージ、レンダリング可能なコードという、4つのモードでワールドモデルをトレーニングします。 これらのモデルはMobileWorldBenchとCode2WorldBenchの両方でSoTAのパフォーマンスを達成する。 低アクションエントロピーを持つ過信な移動体エージェントの場合、後部自己反射は限られた利得を与える。
  論文  参考訳（メタデータ） (2026-05-11T10:49:31Z)
• Learning Vision-Language-Action World Models for Autonomous Driving [15.103497388527943]
  VLA(Vision-Language-Action)モデルは最近、エンドツーエンドの自動運転において顕著な進歩を遂げている。 VLAモデルは時相力学と世界整合性の明示的なモデリングを欠いていることが多い。 VLA-World(VLA-World)は、予測的想像力と反射的推論を統一する、シンプルで効果的なVLA世界モデルである。
  論文  参考訳（メタデータ） (2026-04-10T07:38:05Z)
• World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy [55.03832008486675]
  World-VLA-Loopは、世界モデルとVision-Language-Action (VLA) ポリシーの共同改良のためのクローズドループフレームワークである。 本研究では,将来観測と報奨信号の同時予測により,高忠実度インタラクティブシミュレータとして機能する状態認識型ビデオワールドモデルを提案する。
  論文  参考訳（メタデータ） (2026-02-06T08:57:55Z)
• From Word to World: Can Large Language Models be Implicit Text-based World Models? [82.47317196099907]
  エージェント強化学習は、経験駆動のスケーリングにますます依存している。 世界モデルは、シミュレートされた経験を通して学習効率を改善する潜在的方法を提供する。 大規模言語モデルがこの役割を確実に果たせるか,どのような条件でエージェントに有意義な利益をもたらすかを検討する。
  論文  参考訳（メタデータ） (2025-12-21T17:28:42Z)
• Can World Models Benefit VLMs for World Dynamics? [59.73433292793044]
  本研究では,世界モデル先行モデルがビジョンランゲージモデルに移行した場合の能力について検討する。 最高の性能を持つDynamic Vision Aligner (DyVA) と名付けます。 DyVAはオープンソースとプロプライエタリの両方のベースラインを超え、最先端または同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2025-10-01T13:07:05Z)
• WebEvolver: Enhancing Web Agent Self-Improvement with Coevolving World Model [55.276852838877346]
  自己進化型エージェントは、独自のポリシーに基づいて、自律的にサンプリングされた軌道上で訓練される。 我々は,共進化型世界モデルLLMを導入する新しいフレームワークを提案する。 この世界モデルは、Web環境における現在の観察と行動に基づいて、次の観測を予測します。
  論文  参考訳（メタデータ） (2025-04-23T02:54:31Z)
• Multimodal Dreaming: A Global Workspace Approach to World Model-Based Reinforcement Learning [6.747704665696368]
  強化学習(Reinforcement Learning, RL)では、世界モデルはエージェントの行動に応じて環境がどのように進化するかを捉えることを目的としている。 潜在空間内での夢のプロセスの実行は、より少ない環境ステップでのトレーニングを可能にすることを示す。 我々は、GWとWorld Modelsの組み合わせは、RLエージェントの意思決定を改善する大きな可能性を秘めていると結論づける。
  論文  参考訳（メタデータ） (2025-02-28T15:24:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。