論文の概要: What to Ignore, What to React: Visually Robust RL Fine-Tuning of VLA Models

• arxiv url: http://arxiv.org/abs/2605.13105v1
• Date: Wed, 13 May 2026 07:15:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.871462
• Title: What to Ignore, What to React: Visually Robust RL Fine-Tuning of VLA Models
• Title（参考訳）: VLAモデルの視覚的にロバストなRLファインチューニング
• Authors: Yuanfang Peng, Jingjing Fu, Chuheng Zhang, Li Zhao, Jiang Bian, Mingyu Liu, Ling Zhang, Jun Zhang, Rui Wang,
• Abstract要約: 強化学習(RL)の微調整は、ロボット操作におけるビジョン・ランゲージ・アクション(VLA)モデルの可能性を示している。 重要な課題は、標準的なタスク報酬がタスクの成功を監督するが、視覚的な変化がタスク非関連であるか、操作に必要な振る舞いを変更するか、限定的なガイダンスを提供することである。 PAIR-VLAは、PPO最適化中にペアの視覚的変形に対して2つの補助的な目的を加えることで、この問題に対処する。
• 参考スコア（独自算出の注目度）: 35.49750676677204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) fine-tuning has shown promise for Vision-Language-Action (VLA) models in robotic manipulation, but deployment-time visual shifts pose practical challenges. A key difficulty is that standard task rewards supervise task success, but offer limited guidance on whether a visual change is task-irrelevant or changes the behavior required for manipulation. We propose PAIR-VLA (Paired Action Invariance & Sensitivity for Visually Robust VLA), an RL fine-tuning framework to address this difficulty by adding two auxiliary objectives over paired visual variants during PPO optimization: an invariance term that reduces the discrepancy between action distributions for a task-preserving pair (e.g., different distractors), and a sensitivity objective that encourages separable action distributions for a task-altering pair (e.g., target object in a different pose). Together, these objectives turn visual variants from mere observation diversity into behavior-level guidance on policy responses during RL fine-tuning. We evaluate on ManiSkill3 across two representative VLA architectures, OpenVLA and $π_{0.5}$, under diverse out-of-distribution visual shifts including unseen distractors, texture changes, target object pose variation, viewpoint shifts, and lighting changes. Our method consistently improves over standard PPO, achieving average improvements of 16.62% on $π_{0.5}$ and 9.10% on OpenVLA. Notably, ablations further show generalization across visual shifts: invariance guidance learned from distractor and texture variants transfers to target-pose and lighting shifts, while adding sensitivity guidance on target-pose variants further improves robustness to nuisance shifts, highlighting the broader transferability of behavior-level RL guidance.
• Abstract（参考訳）: 強化学習(RL)の微調整は、ロボット操作におけるビジョン・ランゲージ・アクション(VLA)モデルへの期待を示しているが、デプロイ時の視覚シフトは実用的な課題である。 重要な課題は、標準的なタスク報酬がタスクの成功を監督するが、視覚的な変化がタスク非関連であるか、操作に必要な振る舞いを変更するか、限定的なガイダンスを提供することである。 PAIR-VLA (Paired Action Invariance & Sensitivity for Visually Robust VLA) は、PPO最適化中に2つの視覚的変動に対して補助的な目的を付加することにより、この問題に対処するRLファインチューニングフレームワークである。 これらの目的により、視覚的変化は、単に観察の多様性から、RL微調整中のポリシー応答の行動レベルガイダンスへと変換される。 ManiSkill3 を OpenVLA と $π_{0.5}$ の 2 つの代表的な VLA アーキテクチャで評価した。 提案手法は標準PPOよりも一貫して改善され, π_{0.5}$で平均16.62%, OpenVLAで平均9.10%向上した。 注意すべき点として、アブレーションは視覚的シフトの一般化を示す: 注意散らしやテクスチャの変種から学習した不変性ガイダンスは、目標の変種に対する感度ガイダンスを付加し、さらにニュアンスシフトに対する堅牢性を高め、行動レベルのRLガイダンスの広範な転送可能性を強調している。

関連論文リスト

• TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models [59.13964209628383]
  VLA(Vision-Language-Action)ポリシーは、言語指示や視覚的な観察をロボット行動にマッピングする上で大きな進歩を見せている。 本稿では,VLA政策における乱れや外見に起因したバイアスを明示的に軽減する単純な推論時ガイダンス機構であるTAG(Target-Agnostic Guidance)を提案する。 我々は, LIBERO, LIBERO-Plus, VLABenchなどの標準操作ベンチマーク上でTAGを評価し, クラッタ下での堅牢性を一貫して改善し, ニアミスや不正なオブジェクト実行を減らす。
  論文  参考訳（メタデータ） (2026-03-25T17:56:32Z)
• Vision-Language Models Unlock Task-Centric Latent Actions [75.53481518882275]
  本稿では、視覚言語モデル(VLM)の常識推論能力を利用して、迅速な表現を実現することを提案する。 そこで本研究では,VLMに障害を無視するよう求めれば,遅延動作の質が大幅に向上し,解離メタワールドにおける下流の成功率が最大6倍に向上することを示す。
  論文  参考訳（メタデータ） (2026-01-30T08:38:59Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• PosA-VLA: Enhancing Action Generation via Pose-Conditioned Anchor Attention [92.85371254435074]
  PosA-VLAフレームワークは、ポーズ条件付き監視を通じて視覚的注意を保ち、タスク関連領域に対するモデルの認識を一貫して導く。 本手法は,多様なロボット操作ベンチマークにおいて,正確かつ時間効率のよい動作を実施できることを示す。
  論文  参考訳（メタデータ） (2025-12-03T12:14:29Z)
• Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
  AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。 我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。 また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
  論文  参考訳（メタデータ） (2025-10-01T17:58:05Z)
• Improving Viewpoint Robustness for Visual Recognition via Adversarial Training [26.824940629150362]
  画像分類器の視点ロバスト性を改善するために,ビューポイント不変適応訓練(VIAT)を提案する。 GMVFool が生成する敵対的視点の多様性に基づいて,VIAT は様々な画像分類器の視点ロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-07-21T12:18:35Z)
• Towards Viewpoint-Invariant Visual Recognition via Adversarial Training [28.424131496622497]
  画像分類器の視点ロバスト性を改善するために,ビューポイント不変適応訓練(VIAT)を提案する。 VIATは最小限の最適化問題として定式化され、内部認識は多様な敵の視点を特徴付ける。 一般化性能をさらに向上するため、分散共有戦略を導入する。
  論文  参考訳（メタデータ） (2023-07-16T07:55:42Z)
• VIBR: Learning View-Invariant Value Functions for Robust Visual Control [3.2307366446033945]
  VIBR (View-Invariant Bellman Residuals) は、マルチビュートレーニングと不変予測を組み合わせて、RLベースのビジュモータ制御における分配ギャップを削減する手法である。 視覚摂動の高い複雑なビジュオモータ制御環境において,VIBRは既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-14T14:37:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。