論文の概要: HaWMPO: Hallucination-Aware World Model-based Policy Optimization for Generalist Robot Policy
- arxiv url: http://arxiv.org/abs/2609.09941v1
- Date: Wed, 09 Sep 2026 09:33:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.966754
- Title: HaWMPO: Hallucination-Aware World Model-based Policy Optimization for Generalist Robot Policy
- Title（参考訳）: HaWMPO:汎用ロボット政策のための幻覚的世界モデルに基づくポリシー最適化
- Abstract要約: 汎用ロボット政策は、ロボット操作タスクにまたがる強力な一般化を実証している。
リアルロボットのオンライン強化学習による視覚言語アクション(VLA)ポリシーの改善
世界モデルは、想定されたロールアウトでポリシー最適化を可能にすることで、有望な代替手段を提供する。
本研究では,世界モデルを用いたVLA政策後トレーニングのための閉ループ強化学習パイプラインであるHaWMPOを提案する。
- 参考スコア（独自算出の注目度）: 22.534022126501373
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generalist robot policies have demonstrated strong generalization across robotic manipulation tasks, yet their success rates remain limited in com- plex long-horizon scenarios. Recent methods improve Visual-Language-Action (VLA) policies through online reinforcement learning on real robots, but such training relies on costly physical interactions, suffers from low sample efficiency, and may introduce hardware and safety risks. World models offer a promising alternative by enabling policy optimization with imagined rollouts. However, long-horizon rollouts generated by world models often suffer from prediction hal- lucinations, producing biased state transitions that can mislead policy learning. To address this issue, we propose Hallucination-aware World Model-based Pol- icy Optimization (HaWMPO), a closed-loop reinforcement learning pipeline for VLA policy post-training with world models. Specifically, HaWMPO introduces an action-conditioned hallucination-aware model to estimate the reliability of gen- erated image sequences, and incorporates hallucination scores into group relative policy optimization through a Reward-Soft mechanism, suppressing unreliable ac- tion chunks during training. On the LIBERO benchmark, HaWMPO achieves the best average success rate, with gains of 15.0% over the base model and 2.8% over the strongest baseline; real-world experiments on a G1 robot further validate its effectiveness, raising the average success rate on two manipulation tasks from 67.5% to 80.0%.
- Abstract（参考訳）: 一般論的なロボット政策は、ロボット操作タスクにまたがる強力な一般化を実証してきたが、その成功率は、複合的なロングホライゾンシナリオにおいて限られている。
近年のVLA(Visual-Language-Action)政策は,実際のロボット上でのオンライン強化学習によって改善されている。
世界モデルは、想定されたロールアウトでポリシー最適化を可能にすることで、有望な代替手段を提供する。
しかし、世界モデルによって生じる長期にわたるロールアウトは、しばしば半減期という予測に悩まされ、政策学習を誤解させる可能性のあるバイアスのある状態遷移を引き起こす。
この問題に対処するため,Halucination-Aware World Model-based Pol-Icy Optimization (HaWMPO)を提案する。
具体的には、HWMPOは、ゲン消去画像系列の信頼性を推定するための行動条件付幻覚モデルを導入し、学習中に信頼できないAc-イオンチャンクを抑えるために、Reward-Soft機構を介して、グループ相対的なポリシー最適化に幻覚スコアを組み込む。
LIBEROのベンチマークでは、HaWMPOはベースモデルよりも15.0%、最強のベースラインより2.8%向上し、G1ロボットにおける実世界実験はその効果をさらに検証し、2つの操作タスクの平均成功率を67.5%から80.0%に引き上げた。
関連論文リスト
- Q-Learning With World Models [69.63968749241239]
本稿では,Qラーニング上の実測軌道上でテスト時間探索を行い,高価値な行動を選択するために世界モデルを活用するフレームワークを提案する。
QWMは, 試料効率と性能の両方において, 従来の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2026-08-17T22:00:42Z) - Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies [23.266003019334438]
汎用的なロボットポリシーは、大規模な事前トレーニングの恩恵を受ける傾向にあるが、オフラインデータだけでは、堅牢な現実世界のデプロイメントには不十分である。
本稿では,VLA(Vision-Language-Action)ポリシーの継続学習のための,艦隊規模のオフライン-オンライン強化学習フレームワークであるLWDを紹介する。
論文 参考訳（メタデータ） (2026-05-01T05:20:26Z) - Hi-WM: Human-in-the-World-Model for Scalable Robot Post-Training [54.896907620476675]
本稿では,学習世界モデルを用いた学習後学習フレームワークを提案する。
Hi-WMは中間状態をキャッシュし、ロールバックとブランチをサポートする。
我々は、剛性と変形性のあるオブジェクト相互作用と2つのポリシーバックボーンにまたがる3つの実世界の操作タスクについて、Hi-WMを評価する。
論文 参考訳（メタデータ） (2026-04-23T14:42:54Z) - Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
本稿では, 自己補正VLA (SC-VLA) を提案する。
SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
論文 参考訳（メタデータ） (2026-02-25T06:58:06Z) - WoVR: World Models as Reliable Simulators for Post-Training VLA Policies with RL [30.884160045861616]
我々は、VLAポリシーの訓練後、信頼性の高い世界モデルに基づく強化学習フレームワークであるWoVRを提案する。
制御可能なアクション条件付きビデオワールドモデルによってロールアウト安定性を向上させる。
また、Keyframe-evolutiond Rolloutsによる効果的なエラー深度を低減するために、想像上のインタラクションを再確認する。
論文 参考訳（メタデータ） (2026-02-15T03:48:20Z) - VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model [87.75549463328836]
本研究の目的は、反復的なオンラインインタラクションにより、視覚言語アクション(VLA)モデルの性能と信頼性を向上させることである。
本稿では,実世界のロールアウトデータを用いて,世界モデルの忠実度を向上する簡易な反復改善アルゴリズムを提案する。
基本方針よりも39.2%の絶対成功率向上と、生成した合成ロールアウトによるトレーニングによる11.6%の改善を実現している。
論文 参考訳（メタデータ） (2026-02-12T15:21:47Z) - WMPO: World Model-based Policy Optimization for Vision-Language-Action Models [22.01666177489494]
VLA(Vision-Language-Action)モデルは汎用ロボット操作の強力な可能性を示している。
WMPO(World-Model-based Policy Optimization)は、実環境と対話することなく、オンラインVLAのための原則的フレームワークである。
論文 参考訳（メタデータ） (2025-11-12T17:54:09Z) - Ctrl-World: A Controllable Generative World Model for Robot Manipulation [53.71061464925014]
汎用ロボットポリシーは、幅広い操作スキルを実行することができる。
未知の物体や命令で 彼らの能力を評価し 改善することは 重要な課題です
世界モデルは、イマジネーション空間内でポリシーの展開を可能にすることで、有望でスケーラブルな代替手段を提供する。
論文 参考訳（メタデータ） (2025-10-11T09:13:10Z) - Offline Robotic World Model: Learning Robotic Policies without a Physics Simulator [50.191655141020505]
強化学習(Reinforcement Learning, RL)は、ロボット制御において目覚ましい能力を示してきたが、高いサンプルの複雑さ、安全性の懸念、そしてシム・トゥ・リアルのギャップのため、依然として困難である。
物理シミュレータに頼らずに政策学習を改善するために不確実性を明示的に推定するモデルベースアプローチであるオフラインロボット世界モデル(RWM-O)を導入する。
論文 参考訳（メタデータ） (2025-04-23T12:58:15Z) - ConRFT: A Reinforced Fine-tuning Method for VLA Models via Consistency Policy [10.596344084789434]
VLA(Vision-Language-Action)モデルは、現実世界のロボット操作において大きな可能性を示している。
これらのモデルを教師付き学習で微調整することで、制限された一貫性のないデモのために堅牢なパフォーマンスを達成することができる。
我々は,オフラインとオンラインのファインチューニングで構成されるConRFTという,VLAモデルのための強化されたファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2025-02-08T05:01:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。