Fugu-MT 論文翻訳(概要): Q-Learning With World Models

論文の概要: Q-Learning With World Models

arxiv url: http://arxiv.org/abs/2608.17163v1
Date: Mon, 17 Aug 2026 22:00:42 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-19 21:40:53.138824
Title: Q-Learning With World Models
Title（参考訳）: 世界モデルによるQ-Learning
Abstract要約: 本稿では,Qラーニング上の実測軌道上でテスト時間探索を行い,高価値な行動を選択するために世界モデルを活用するフレームワークを提案する。 QWMは, 試料効率と性能の両方において, 従来の最先端手法よりも優れていた。
参考スコア（独自算出の注目度）: 69.63968749241239
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Off-policy reinforcement learning (RL) has become increasingly sample-efficient, enabling applications such as RL fine-tuning of Vision-Language-Action models into reliable, high-performing policies. World models offer a further lever for sample efficiency, as they predict state changes rather than actions alone, but their success has largely been confined to supervised policy learning. Prior model-based RL methods often optimize the policy or value function directly on imagined rollouts, which is prone to compounding bias and struggles to scale to large, high-dimensional problems such as real-world robotics, a problem that worsens with task horizon and visual complexity. In this work, we instead ask whether we can leverage world models directly on top of standard Q-learning to improve performance, while remaining trained and grounded in the real, online setting. We propose QWM, a framework that leverages world models to perform test-time search over imagined trajectories on top of Q-learning to select high-value actions during both online rollouts and evaluation. Since the policy and value function are trained only on real transitions, QWM avoids compounding model bias while still gaining the sample-efficiency benefits of predictive search. On challenging manipulation benchmarks Robomimic and LIBERO, QWM significantly outperforms strong prior state-of-the-art methods on both sample efficiency and performance.
Abstract（参考訳）: オフ・ポリティクス強化学習(RL)はサンプル効率が向上し、ビジョン・ランゲージ・アクションモデルのRL微調整を信頼性の高い高パフォーマンスなポリシーに応用することができるようになった。世界モデルは、アクション単独ではなく、状態の変化を予測するため、サンプル効率をさらに向上させるが、その成功は、主に教師付き政策学習に限られている。従来のモデルベースのRL手法は、しばしば想像上のロールアウトで直接ポリシーや価値関数を最適化するが、これはバイアスを複雑にし、現実のロボット工学のような大規模で高次元の問題にスケールするのに苦労する傾向がある。この作業では、実際のオンライン環境でトレーニングと基礎を保ちながら、標準的なQ-ラーニングの上にワールドモデルを直接活用してパフォーマンスを向上させることができるかどうかを問う。オンラインのロールアウトと評価の両方において、Q-ラーニング上で、QWMは、世界モデルを活用して、想像上の軌道上でテスト時間検索を行い、高価値なアクションを選択するフレームワークである。ポリシーと値関数は実際の遷移でのみ訓練されるため、QWMは予測探索のサンプル効率の利点を得ながら、複雑なモデルバイアスを避ける。 Robomimic と LIBERO の計算ベンチマークでは、QWM はサンプル効率と性能の両方において、最先端の手法よりも優れている。

関連論文リスト

EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models [84.73890225707264]
提案するEXPO-FTは,事前学習したVLAポリシーの安定かつサンプル効率の良いRL微調整システムである。本システムは,オンラインロボットデータの平均19.1分以内の全ての評価課題に対して,完全なタスク性能(30/30の成功)を実現する。我々は、ロボット工学におけるVLAモデルのより広範なRLファインタニング導入を促進することを目的とした、オープンソースのロバスト性をリリースする。
論文参考訳（メタデータ） (2026-05-25T06:31:03Z)
Large Reward Models: Generalizable Online Robot Reward Generation with Vision-Language Models [19.819472980239826]
我々は最先端のVLMに基づく堅牢でスケーラブルな報酬モデルを開発する。我々は、これらのVLM報酬を用いて、閉ループ方式で準最適動作を補正するモデルを導出する。
論文参考訳（メタデータ） (2026-03-17T02:22:16Z)
WMPO: World Model-based Policy Optimization for Vision-Language-Action Models [22.01666177489494]
VLA(Vision-Language-Action)モデルは汎用ロボット操作の強力な可能性を示している。 WMPO(World-Model-based Policy Optimization)は、実環境と対話することなく、オンラインVLAのための原則的フレームワークである。
論文参考訳（メタデータ） (2025-11-12T17:54:09Z)
Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [79.2162092822111]
我々は,一連のナビゲーションタスクにおいて,強化学習(RL)と制御に基づく手法を体系的に評価する。我々は、JEPA(Joint Embedding Predictive Architecture)を使用して、潜在ダイナミクスモデルを使用し、それを計画に使用します。その結果,モデルベースプランニングではレイアウトが不明瞭になるのに対して,モデルフリーのRLは高品質なデータから恩恵を受けることがわかった。
論文参考訳（メタデータ） (2025-02-20T18:39:41Z)
MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot Learning [52.101643259906915]
本研究では,高次元観測による強化学習におけるオフライン事前学習とオンラインファインチューニングの問題について検討する。既存のモデルベースオフラインRL法は高次元領域におけるオフラインからオンラインへの微調整には適していない。本稿では,事前データをモデルベース値拡張とポリシー正則化によって効率的に再利用できるオンラインモデルベース手法を提案する。
論文参考訳（メタデータ） (2024-01-06T21:04:31Z)
ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
論文参考訳（メタデータ） (2023-12-14T15:53:07Z)
On the Feasibility of Cross-Task Transfer with Model-Based Reinforcement Learning [45.73223325256312]
最新のモデルベースRLアルゴリズムで学習した内部モデルが、新しい明らかに異なるタスクを高速に解くために活用できるかどうかを考察する。我々は,学習世界のモデルのスケーラブルな事前学習と微調整が可能な,サンプル効率の高いオンラインRLのためのフレームワークであるModel-Based Cross-Task Transfer (XTRA)を提案する。
論文参考訳（メタデータ） (2022-10-19T17:57:06Z)
Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文参考訳（メタデータ） (2022-09-24T14:22:29Z)
Fully Decentralized Model-based Policy Optimization for Networked Systems [23.46407780093797]
本研究の目的は,モデルベース学習によるマルチエージェント制御のデータ効率の向上である。エージェントが協力的であり、隣人とのみローカルに通信するネットワークシステムについて検討する。提案手法では,各エージェントが将来の状態を予測し,通信によって予測をブロードキャストする動的モデルを学習し,その後,モデルロールアウトに基づいてポリシーをトレーニングする。
論文参考訳（メタデータ） (2022-07-13T23:52:14Z)
Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。