論文の概要: Generating Critic-Guided Synthetic Experience in Latent World Models

• arxiv url: http://arxiv.org/abs/2610.39100v1
• Date: Thu, 29 Oct 2026 00:41:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.438857
• Title: Generating Critic-Guided Synthetic Experience in Latent World Models
• Title（参考訳）: 後期世界モデルにおける批判誘導型合成経験の生成
• Abstract要約: CGSE(Critical-Guided Synthetic Experience)生成は、世界モデルを用いてオフラインで合成体験を生成する。 3つのOGBench操作タスクでは、CGSEは平均成功率に対して7.1%の相対的な改善によってオフラインポリシーを改善している。
• 参考スコア（独自算出の注目度）: 45.57231237450957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from offline datasets is limited in scalability, as collecting new experience is often costly or unsafe in the real world. World models offer an alternative way to generate new experience through a learned dynamics model, yet learning policies in latent space is limited due to compounding errors in imagined rollouts. To this end, we propose using the world model as a local transition generator, leveraging critic guidance to choose actions inside that model to generate synthetic experiences. We study action refinement methodologies, introducing Critic-Guided Synthetic Experience (CGSE) generation in world models. Specifically, CGSE augments an existing offline dataset by sampling candidate actions using an offline policy and refining each to maximize a first-order approximation of the $Q$-function within a trust region. We then use a frozen latent world model to imagine the future state given each updated action, and use the critic to choose the best one, appending this synthetic transition to the replay buffer. Our method requires no additional real-environment interaction or test-time planner, as it generates synthetic experience offline using the world model. On three OGBench manipulation tasks, CGSE improves an offline policy by a relative improvement of $7.1\%$ on the average success rate.
• Abstract（参考訳）: オフラインデータセットからの学習はスケーラビリティに制限がある。 世界モデルは、学習されたダイナミックスモデルを通じて新しいエクスペリエンスを生成する代替手段を提供するが、潜在空間での学習ポリシーは、想像上のロールアウトにおけるエラーの混在によって制限される。 そこで本研究では,世界モデルを局所遷移生成器として利用し,批判指導を利用してモデル内のアクションを選択し,合成体験を生成することを提案する。 本研究では,世界モデルにCGSE(Critical-Guided Synthetic Experience)の生成を導入し,行動改善手法について検討する。 具体的には、CGSEは、オフラインポリシを使用して候補アクションをサンプリングし、それぞれを精製することで、信頼領域内の$Q$関数の1次近似を最大化する、既存のオフラインデータセットを拡張する。 次に、凍結した潜在世界モデルを使用して、更新されたアクションごとに将来の状態を想像し、批評家を使って最適なアクションを選択し、この合成遷移をリプレイバッファに追加します。 本手法では,世界モデルを用いてオフラインで合成体験を生成するため,追加の環境相互作用やテスト時間プランナは必要としない。 3つのOGBench操作タスクでは、CGSEは平均成功率に対して7.1\%の相対的な改善によってオフラインポリシーを改善している。

関連論文リスト

• RENEW: Towards Learning World Models and Repairing Model Exploitation from Preferences [10.933305190411934]
  世界モデルはオフラインの強化学習で使われ、サンプル効率を改善し、固定データセットを超えたエクスペリエンスを生成する。 提案手法は,人間の嗜好を直接利用して,実情を再現するものである。 我々は,いくつかのジュマンジーや古典的な制御環境について評価し,DLHFが大きめの選好予算を必要とするのに対して,RENEWはフレームワークを実用的なものにする。
  論文  参考訳（メタデータ） (2026-07-15T14:03:45Z)
• VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model [87.75549463328836]
  本研究の目的は、反復的なオンラインインタラクションにより、視覚言語アクション(VLA)モデルの性能と信頼性を向上させることである。 本稿では,実世界のロールアウトデータを用いて,世界モデルの忠実度を向上する簡易な反復改善アルゴリズムを提案する。 基本方針よりも39.2%の絶対成功率向上と、生成した合成ロールアウトによるトレーニングによる11.6%の改善を実現している。
  論文  参考訳（メタデータ） (2026-02-12T15:21:47Z)
• Disentangled World Models: Learning to Transfer Semantic Knowledge from Distracting Videos for Reinforcement Learning [65.85335291827086]
  本稿では,オフラインからオンラインまでの潜水蒸留とフレキシブルなゆがみ制約を通したビデオから,セマンティックな違いを学習し,理解することを試みる。 動作自由なビデオ予測モデルを非干渉正規化によりオフラインでトレーニングし、注意をそらすビデオから意味的知識を抽出する。 オンライン環境での微調整には、事前学習されたモデルからの知識を活用し、世界モデルに絡み合った制約を導入する。
  論文  参考訳（メタデータ） (2025-03-11T13:50:22Z)
• Expert Routing with Synthetic Data for Continual Learning [46.01125098473039]
  Generate to Discriminate (G2D) は、合成データを利用してドメイン識別器を訓練する連続学習手法である。 我々は、G2Dが視覚と言語の両方におけるタスクにおいて、競争力のあるドメイン・インクリメンタル・ラーニング手法より優れていることを観察する。
  論文  参考訳（メタデータ） (2024-12-22T13:16:28Z)
• WHALE: Towards Generalizable and Scalable World Models for Embodied Decision-making [40.53824201182517]
  本稿では、一般化可能な世界モデルを学ぶためのフレームワークであるWHALEを紹介する。 Whale-STは、拡張一般化性を備えた時空間変圧器を用いたスケーラブルな世界モデルである。 また、Open X-Embodimentデータセットから970K軌道上でトレーニングされた414MパラメータワールドモデルであるWhale-Xを提案する。
  論文  参考訳（メタデータ） (2024-11-08T15:01:27Z)
• One-shot World Models Using a Transformer Trained on a Synthetic Prior [37.027893127637036]
  ワンショット世界モデル(英: One-Shot World Model、OSWM)は、純粋に合成データからコンテキスト内学習形式で学習されるトランスフォーマー世界モデルである。 OSWMは、シンプルなグリッド世界のダイナミクスや、CartPoleのジム、カスタムコントロール環境に迅速に適応できる。
  論文  参考訳（メタデータ） (2024-09-21T09:39:32Z)
• Learning from Random Demonstrations: Offline Reinforcement Learning with Importance-Sampled Diffusion Models [19.05224410249602]
  閉ループポリシー評価と世界モデル適応を用いたオフライン強化学習のための新しい手法を提案する。 提案手法の性能を解析し,提案手法と実環境とのリターンギャップに上限を設けた。
  論文  参考訳（メタデータ） (2024-05-30T09:34:31Z)
• STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning [82.03481509373037]
  近年,モデルに基づく強化学習アルゴリズムは視覚入力環境において顕著な有効性を示している。 本稿では,強力なモデリングと生成機能を組み合わせた効率的な世界モデルアーキテクチャであるTransformer-based wORld Model (STORM)を紹介する。 Stormは、Atari 100$kベンチマークで平均126.7%の人的パフォーマンスを達成し、最先端のメソッドの中で新しい記録を樹立した。
  論文  参考訳（メタデータ） (2023-10-14T16:42:02Z)
• DITTO: Offline Imitation Learning with World Models [21.419536711242962]
  DITTOは、これらの3つの問題すべてに対処するオフラインの模倣学習アルゴリズムである。 標準的な強化学習アルゴリズムを用いて,この多段階潜時分岐を最適化する。 我々の結果は、世界モデルの創造的利用が、シンプルで堅牢で、高度にパフォーマンスの高い政策学習フレームワークにどのように結びつくかを示している。
  論文  参考訳（メタデータ） (2023-02-06T19:41:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。