論文の概要: Trust-Calibrated VLA Policy Post-Training with Evolving Imagination

• arxiv url: http://arxiv.org/abs/2610.16517v1
• Date: Mon, 12 Oct 2026 10:08:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:51:09.281292
• Title: Trust-Calibrated VLA Policy Post-Training with Evolving Imagination
• Title（参考訳）: 進化的イマジネーションによる信頼校正VLA政策のポストトレーニング
• Abstract要約: 既存の改善パラダイムは信頼性と効率性の緊張を露呈する。 本稿では,モデル進化強化学習(MERL, Model-Evolving Reinforcement Learning)を提案する。 摂動型LIBERO-PROタスクでは、MERLは平均79.7%の成功を達成し、マッチしたモデルフリー制御よりも10.9%の高閾値学習速度を向上し、同じプロトコール外部ベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 60.998903003181006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models are often pretrained via imitation learning, making reinforcement learning (RL) post-training important when deployment moves beyond demonstration coverage. Existing refinement paradigms expose a reliability--efficiency tension: model-free refinement avoids simulator bias but is interaction-intensive, whereas model-based refinement can exploit unreliable imagination even as its simulator adapts. We propose Model-Evolving Reinforcement Learning (MERL), a trust-calibrated framework that couples policy optimization with an online-updated simulator comprising a world model and a reward proxy head. Across stages, simulator reliability controls the imagined-data ratio and rollout horizon; within rollouts, chunk-level trust controls replay selection and optimization weight. For recursive imagination without exact grounded continuations, a residual predictor estimates trust without querying future ground truth. On perturbed LIBERO-PRO tasks, MERL reaches 79.7% average success, improves high-threshold learning speed by 10.9% over the matched model-free control, and outperforms same-protocol external baselines across three training seeds. Fixed-data adaptation from 50 demonstrations per task achieves 80.0% average success on two physical-robot tasks.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、しばしば模倣学習によって事前訓練される。 モデルフリーリファインメントはシミュレータバイアスを避けるが、相互作用集約的であるのに対して、モデルベースリファインメントはシミュレータが適応しても信頼できない想像力を利用することができる。 モデル進化強化学習(MERL: Model-Evolving Reinforcement Learning)は,世界モデルと報酬プロキシーヘッドで構成されるオンライン更新シミュレータと,政策最適化を結合する信頼性校正フレームワークである。 ステージ全体にわたって、シミュレータの信頼性は、想像データ比とロールアウト水平線を制御し、ロールアウトでは、チャンクレベルの信頼がリプレイの選択と最適化の重みを制御する。 正確な根拠のない再帰的想像について、残差予測器は将来的な根拠の真理を問うことなく信頼を推定する。 摂動型LIBERO-PROタスクでは、MERLは平均79.7%の成功を達成し、マッチしたモデルフリーコントロールよりも10.9%の高閾値学習速度を向上し、3つのトレーニングシードで同じプロトコールの外部ベースラインを上回っている。 タスク毎の50のデモからの固定データ適応は、2つの物理ロボットタスクで平均80.0%の成功を達成する。

関連論文リスト

• RoXDrive: Closed-Loop Reinforcement Learning for End-to-End Autonomous Driving via Action-Faithful Rollouts [98.41251854883184]
  強化学習(RL)ポストトレーニングは、現在のアプローチに代わる有望な代替手段を提供する。 ビデオワールドモデルは、現実的な多段階の将来のロールアウトを生成する能力を示したが、アクション条件を忠実に反映しないかもしれない。 本稿では,信頼性の高いポリシ最適化を実現するプラグイン・アンド・プレイクローズドループRLフレームワークであるRoXDriveを紹介する。
  論文  参考訳（メタデータ） (2026-09-29T06:59:50Z)
• Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
  本稿では, 自己補正VLA (SC-VLA) を提案する。 SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
  論文  参考訳（メタデータ） (2026-02-25T06:58:06Z)
• Actor-Curator: Co-adaptive Curriculum Learning via Policy-Improvement Bandits for RL Post-Training [63.34044358216334]
  ACTOR-CURATORは、大規模言語モデルの強化学習のためのスケーラブルで完全に自動化されたカリキュラム学習フレームワークである。 経験的に、ACTOR-CURATORは一貫して一様サンプリングと強力なカリキュラムベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-02-24T04:19:48Z)
• WoVR: World Models as Reliable Simulators for Post-Training VLA Policies with RL [30.884160045861616]
  我々は、VLAポリシーの訓練後、信頼性の高い世界モデルに基づく強化学習フレームワークであるWoVRを提案する。 制御可能なアクション条件付きビデオワールドモデルによってロールアウト安定性を向上させる。 また、Keyframe-evolutiond Rolloutsによる効果的なエラー深度を低減するために、想像上のインタラクションを再確認する。
  論文  参考訳（メタデータ） (2026-02-15T03:48:20Z)
• Towards Long-Lived Robots: Continual Learning VLA Models via Reinforcement Fine-Tuning [34.29473529235131]
  LifeLong-RFTは、VLAモデルの簡易かつ効果的な強化微細チューニング(RFT)戦略である。 LifeLong-RFTは、チャンキングレベルのオンライン強化学習と、提案した多次元プロセスリワード(MDPR)機構を統合する。 本手法は,SFTよりも平均成功率を22%向上させると同時に,トレーニングデータの20%のみを用いて,新たなタスクに効果的に適応する。
  論文  参考訳（メタデータ） (2026-02-11T04:05:03Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• VLA-RFT: Vision-Language-Action Reinforcement Fine-tuning with Verified Rewards in World Simulators [38.880852900641]
  VLA(Vision-Language-Action)モデルは、具体的意思決定を可能にするが、模倣学習に大きく依存する。 制御可能なシミュレータとしてデータ駆動世界モデルを利用する強化微調整フレームワークであるVLA-RFTを紹介する。 400歩未満の微調整ステップで、VLA-RFTは強い教師付きベースラインを超え、シミュレータベースのRLよりも高い効率を達成する。
  論文  参考訳（メタデータ） (2025-10-01T01:33:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。