論文の概要: When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.32431v1
• Date: Fri, 23 Oct 2026 09:56:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.487988
• Title: When to Stop Penalizing Actions? Martingale GRPO for VLA Reinforcement Learning
• Title（参考訳）: 罰則はいつ止まるか? VLA強化学習のためのMartingale GRPO
• Abstract要約: Martingale GRPO はイベント誘導トランケーションのための視覚言語モデル (VLM) を備えている。 故障フィードバックは選択されたエラー間隔を通して保持され、その後削除され、成功したロールアウト損失項と元の損失正規化が保存される。 RoboTwin 2.0でのOpenVLA-OFTの実験により、MART-GRPOは複数のタスクにわたる全軌道GRPOよりも成功率を向上させることが示された。
• 参考スコア（独自算出の注目度）: 57.346051877313705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A failed vision-language-action (VLA) rollout does not imply that every action contributed to failure. Yet in group-relative policy optimization (GRPO), a single trajectory-level advantage is assigned to all actions in a rollout. Potentially useful recovery attempts can thus be penalized alongside the errors they aim to correct. Ideal stopping conditions for failure feedback are characterized using success-probability and policy-score martingales. At these stops, the removed gradient contribution has zero conditional expectation given the retained information. Truncation therefore preserves the expectation of a reference GRPO group-gradient estimator and can reduce its covariance. One such stop occurs when the conditional probability of success is zero, motivating error and recovery cues for selecting candidate feedback boundaries. Martingale GRPO (MART-GRPO) is introduced with a vision-language model (VLM) for event-guided truncation. The VLM is fine-tuned on our annotated training set using low-rank adaptation (LoRA). The last visible error without observed recovery is localized by the frozen VLM in complete rollout videos. Failure feedback is retained through the selected error interval and removed afterward, while successful-rollout loss terms and original loss normalization are preserved. For retrospective boundaries, changes in expectation and variance are analyzed to assess departures from ideal stopping. Experiments with OpenVLA-OFT on RoboTwin 2.0 show that MART-GRPO improves success rates over full-trajectory GRPO across multiple tasks.
• Abstract（参考訳）: 視覚言語アクション(VLA)のロールアウトが失敗したことは、すべてのアクションが失敗に寄与したという意味ではない。 しかし、グループ相対ポリシー最適化(GRPO)では、ロールアウト中のすべてのアクションに単一の軌道レベルのアドバンテージが割り当てられる。 したがって、潜在的に有用なリカバリの試みは、彼らが修正しようとしているエラーと共に罰せられる。 障害フィードバックのための理想的な停止条件は、成功確率とポリシースコアマーチンガレットを用いて特徴づけられる。 これらの停止において、除去された勾配寄与は、保持された情報から条件付き期待値がゼロとなる。 したがって、トランケーションは基準GRPO群勾配推定器の期待を保ち、その共分散を減少させることができる。 そのような停止の1つは、成功の条件付き確率がゼロであるときに発生し、予測されたフィードバック境界を選択するためのエラーとリカバリの手がかりを動機付ける。 Martingale GRPO (MART-GRPO) はイベント誘導トランケーションのための視覚言語モデル (VLM) を備えている。 VLMはローランク適応(LoRA)を用いた注釈付きトレーニングセットで微調整される。 観測されたリカバリのない最後の可視誤差は、完全なロールアウトビデオで凍結されたVLMによってローカライズされる。 故障フィードバックは選択されたエラー間隔を通して保持され、その後削除され、成功したロールアウト損失項と元の損失正規化が保存される。 振り返り境界については、期待と分散の変化を分析し、理想的な停止から逸脱を評価する。 RoboTwin 2.0でのOpenVLA-OFTの実験により、MART-GRPOは複数のタスクにわたる全軌道GRPOよりも成功率を向上させることが示された。

関連論文リスト

• Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight [51.276336727283]
  Replay-Selected Hindsight Distillation (RSHD)について述べる。 ポリシーは、参照された回答やソリューションを見ることなく、失敗した各試みについて修正ノートを書き、その後、そのノートで問題をコンテキストで再解決する。 ポリシーのみをトレーニングし、唯一の判断は結果検証であり、デプロイメントはノートや追加の推論を必要としない。
  論文  参考訳（メタデータ） (2026-10-14T23:33:22Z)
• FIRE-VLA: Failure-Informed Self-Evolution for Vision-Language-Action Models in Autonomous Driving [1.4298580363875282]
  グループ相対ポリシー最適化は、各ロールアウトグループ内の報酬差から学習する。 Fire-VLAは、未解決の失敗を次のポリシーの特権的な監督に変換する。 150の保持されたnuScenesシーンの6,019の例では、FIRE-VLAは同等の単一サンプルプランニングを維持している。
  論文  参考訳（メタデータ） (2026-08-13T15:53:24Z)
• RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
  継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。 最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。 我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2026-07-05T15:46:11Z)
• CIGPO: Contextual Information-Gain Policy Optimization for Multi-Turn Evidence-Reading LLM Agents [1.4298580363875282]
  結果のみの強化学習によるマルチターンエビデンス読解エージェントのトレーニングは、中間旋回が直接クレジットをほとんど受け取らないため不安定である。 Qwen2.5-3B-InstructによるHotpotQA実験では、GRPOは最初(標準F1 0.430)改善されたが、その後100%フォーマット違反の出力に崩壊する。 本研究では,各ターン当たりの報酬を中間的エビデンス読解ターンに割り当てることで,グループ報酬分布が1つの値に崩壊するのを防ぐ,分散テキスト戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-26T11:50:29Z)
• RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models [90.39703013636868]
  RePO-VLAは、リカバリ駆動のポリシー最適化フレームワークである。 成功、回復、失敗の軌跡に異なる役割を割り当てる。 対人的な成功は、平均で20%から75%、実世界の規模で80%まで上昇する。
  論文  参考訳（メタデータ） (2026-05-10T08:24:05Z)
• Unleashing VLA Potentials in Autonomous Driving via Explicit Learning from Failures [14.313346858887286]
  自律走行のためのVLA(Vision-Language-Action)モデルは、強化学習(Reinforcement Learning、RL)最適化時にしばしばパフォーマンス高原に到達する。 この停滞は、以前のスーパービジョン・ファインチューニング(SFT)によって制約された探査能力から生じる。 構造化された診断フィードバックでRLを増強するフレームワークであるELF-VLA(Explicit Learning from Failures)を提案する。
  論文  参考訳（メタデータ） (2026-03-01T11:41:22Z)
• CycleVLA: Proactive Self-Correcting Vision-Language-Action Models via Subtask Backtracking and Minimum Bayes Risk Decoding [60.06899554269808]
  サイクロンVLA(CycleVLA)は、VLA(Vision-Language-Action Model)を積極的に自己補正するシステムである。 CycleVLAは、重要なサブタスク遷移ポイントにフラグを付けるプログレス対応のVLAを統合することで、これを実現する。 大規模な実験により、CycleVLAは、よく訓練されたVLAと訓練されていないVLAの両方のパフォーマンスを改善することが示された。
  論文  参考訳（メタデータ） (2026-01-05T17:31:01Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。