論文の概要: WCM: A World Critic Model for Vision-Language-Action Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.29613v1
• Date: Fri, 31 Jul 2026 16:48:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.816041
• Title: WCM: A World Critic Model for Vision-Language-Action Reinforcement Learning
• Title（参考訳）: WCM:ビジョンランゲージ・アクション強化学習のための世界批判モデル
• Abstract要約: 強化学習後学習のための世界批判モデル(WCM)を提案する。 WCMは将来の潜伏状態を予測し、批評家の表現が時間的ダイナミクスを捉えるために明示的に訓練されるように値を推定する。 WCMは、ディストリビューションとアウト・オブ・ディストリビューションの両方の設定において、常に最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 44.97650507638252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) post-training of Vision-Language-Action (VLA) models has shown strong promise for robotic manipulation. Among RL methods, critic-based approaches rely on a value estimator that predominantly operates on single-frame observations or single-frame VLM backbone latents, which is a fundamental mismatch with the partially observable nature of robot control. A naive approach to incorporate observation history into the critic incurs exponential complexity with high-dimensional visual space, and still fails because pure scalar-return regression provides insufficient supervision for learning cross-temporal dynamics. We identify the root cause as a state approximation problem: without an explicit world modeling objective, the critic's representation cannot capture the temporal structure needed for accurate value estimation. To address this, we propose the World Critic Model (WCM), built on a lightweight LeJEPA architecture; WCM jointly predicts future latent state and estimates values, such that the critic's representation is explicitly trained to capture temporal dynamics rather than merely regress scalar returns. WCM integrates seamlessly into both on-policy and off-policy training pipelines and is compatible with state-of-the-art VLA backbones including Pi0, Pi0.5, and OpenVLA-OFT. Extensive experiments on 149 tasks across four benchmarks demonstrate that WCM consistently achieves state-of-the-art performance in both in-distribution and out-of-distribution settings, with particularly strong generalization gains. We further validate WCM on seven real-world manipulation tasks using OpenVLA-OFT and Pi0.5 with off-policy RL, confirming stable deployment across diverse settings.
• Abstract（参考訳）: ビジョンランゲージ・アクション(VLA)モデルの強化学習(RL)後トレーニングは、ロボット操作に強く期待されている。 RL法のうち、批判に基づくアプローチは、主に単一フレームの観測または単一フレームのVLMバックボーン潜伏器で動作する価値推定器に依存しており、これはロボット制御の部分的に観察可能な性質と根本的なミスマッチである。 観察履歴を高次元の視覚空間に組み込む素直なアプローチは、高次元の視覚空間に指数関数的複雑性をもたらすが、純粋なスカラー・リターン回帰は時間的ダイナミクスを学ぶのに不十分な監督を与えるため、依然として失敗する。 我々は、根本原因を状態近似問題とみなす: 明示的な世界モデリングの目的がなければ、批評家の表現は正確な値推定に必要な時間構造を捉えることはできない。 そこで我々は,軽量なLeJEPAアーキテクチャ上に構築されたWorld Critic Model (WCM)を提案する。WCMは将来の潜伏状態を共同で予測し,評価値を推定する。 WCMは、オン・ポリティクスとオフ・ポリティクスの両方のトレーニングパイプラインにシームレスに統合され、Pi0、Pi0.5、OpenVLA-OFTといった最先端のVLAバックボーンと互換性がある。 4つのベンチマークにまたがる149のタスクに対する大規模な実験により、WCMは、分散状態と非分散状態の両方において、常に最先端のパフォーマンスを達成し、特に高い一般化が得られた。 さらに,OpenVLA-OFT と Pi0.5 を用いた実世界の7つの操作タスクに対する WCM の検証を行った。

関連論文リスト

• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models [8.38821563990503]
  視覚言語アクション(VLA)モデルは、教師付き微調整(SFT)またはオンライン強化学習(RL)による下流操作タスクに一般的に適応する。 VLAモデルのための2時間スケールのRLポストトレーニングフレームワークTEMPOを提案する。 CALVINベンチマークと実世界の操作タスクの実験により、TEMPOはトレーニング済みの最先端VLAモデルとRLポストトレーニングベースラインの両方を一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2026-08-07T15:09:51Z)
• Trust Your Instincts: Confidence-Driven Test-Time RL for Vision-Language-Action Models [16.942019996884273]
  強化学習(Reinforcement Learning, RL)は、静的な模倣学習を超えてビジョン・ランゲージ・アクション・モデル(VLA)を推し進めるために欠かせないものとなっている。 本研究では,VLAモデルが有効な内部評価能力を有することを示す。 アーキテクチャに依存しないテストタイムRLフレームワークであるT2VLA(Test-time VLA)を導入し、VLAモデルによる自己ブートストラップポリシーの改善を実現する。
  論文  参考訳（メタデータ） (2026-06-29T07:31:41Z)
• PDCR: Perception-Decomposed Confidence Reward for Vision-Language Reasoning [80.94559742826083]
  Reinforcement Learning with Verifiable Rewards (RLVR) は伝統的に、粗末で結果に基づく信号に依存している。 近年の研究では,高コストな外部モデルを必要としないステップレベルのガイダンスを提供することで,詳細なモデル固有の信号を提供することで,言語推論のトレーニングを効果的に向上することが示された。 一助文には有効であるが,この大域的な報酬を視覚言語推論(V-L)に適用することは準最適戦略である。 本稿では、報酬構造とタスクの不均一な性質を整合させることにより、この問題を解決するフレームワークであるパーセプション分解信頼回復(PDCR:Perception-Decomposed Confidence Reward)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T12:55:18Z)
• LoopVLA: Learning Sufficiency in Recurrent Refinement for Vision-Language-Action Models [13.30873593845724]
  LoopVLAは、表現の洗練、アクション予測、十分性推定を学習する、リカレントなVision-Language-Actionアーキテクチャである。 この結果から,LoopVLAはVLAポリシーの効率性向上のフロンティアを推し進め,パラメータを45%削減し,推論スループットを最大1.7倍向上させることを示した。
  論文  参考訳（メタデータ） (2026-05-11T03:51:22Z)
• MA-VLCM: A Vision Language Critic Model for Value Estimation of Policies in Multi-Agent Team Settings [2.9017174137438815]
  マルチエージェント強化学習(MARL)は一般に、価値関数を推定するために中央集権的な批評家に依存している。 インターネット規模のデータに基づいてトレーニングされた大規模な視覚言語アクションモデル(VLA)は、強力なマルチモーダル推論とゼロショットの一般化能力を示す。 本稿では,MA-VLCM(Multi-Agent Vision-Language-Critic Models)を提案する。
  論文  参考訳（メタデータ） (2026-03-16T15:29:41Z)
• Act, Think or Abstain: Complexity-Aware Adaptive Inference for Vision-Language-Action Models [7.802379200026965]
  認識状態の複雑さに基づいてVLA実行を動的にルーティングする適応型フレームワークを提案する。 我々のアプローチは、VLAの視覚言語バックボーンを、パラメトリックおよび非パラメトリック推定器のアンサンブルに潜伏埋め込みを投影することにより、アクティブな検出ツールに変換する。
  論文  参考訳（メタデータ） (2026-03-05T13:14:41Z)
• Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
  本稿では, 自己補正VLA (SC-VLA) を提案する。 SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
  論文  参考訳（メタデータ） (2026-02-25T06:58:06Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• COVLM-RL: Critical Object-Oriented Reasoning for Autonomous Driving Using VLM-Guided Reinforcement Learning [55.83415345423854]
  批判的オブジェクト指向(CO)推論と強化学習(RL)を統合した新しいエンドツーエンド駆動フレームワークCOVLM-RLを提案する。 CARLAシミュレータで行った実験により、COVLM-RLはトレーニング運転環境における成功率を30%向上することが示された。
  論文  参考訳（メタデータ） (2025-12-10T06:18:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。