論文の概要: Find Something You Can't Do: Agentic Real-World Reinforcement Learning for Self-Improving VLA Models

• arxiv url: http://arxiv.org/abs/2609.32069v2
• Date: Thu, 01 Oct 2026 19:55:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:29.84811
• Title: Find Something You Can't Do: Agentic Real-World Reinforcement Learning for Self-Improving VLA Models
• Title（参考訳）: できないことを見つける: 自己改善型VLAモデルのためのエージェント的実世界強化学習
• Abstract要約: textbfFINDはエージェントによる実世界の強化学習フレームワークである。 シーン理解、弱点を認識した実践、自己評価、政策改善のループを閉じます。 代表者は6時間以内に456回の自律的なエピソードを完了させる。
• 参考スコア（独自算出の注目度）: 17.22121928229907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision--language--action (VLA) models provide strong priors for robotic manipulation but are typically deployed as frozen policies, unable to improve from their own failures. Real-world reinforcement learning (RL) offers a path to continued improvement, yet manual environment resets and task-success supervision hinder autonomous learning. We introduce \textbf{FIND}, an agentic real-world RL framework that closes the loop between scene understanding, weakness-aware practice, self-evaluation, and policy improvement in a persistent workspace. FIND reframes autonomous practice as a scene-conditioned, performance-aware task-selection problem: instead of restoring a predefined scene after each rollout, it uses the resulting scene to determine what to practice next. A vision--language agent identifies feasible tasks from a predefined library, prioritizes those with lower recent success rates, and evaluates outcomes using paired pre- and post-execution observations. We instantiate FIND with a frozen $π_{0.5}$ VLA and residual off-policy RL. Across eight real-world manipulation tasks, the independent human-assessed success rate improves from $55\%$ to $71.9\%$. A representative run completes 456 autonomous episodes within 6 hours of interaction, requiring 30 scene-recovery interventions and no human-provided reward labels during online learning. Ablations and systematic evaluations further examine key design choices, agent evaluation accuracy, and human intervention requirements. Our website is made publicly available at: FIND.github.io.
• Abstract（参考訳）: 視覚-言語-アクション(VLA)モデルは、ロボット操作の強力な先駆者を提供するが、一般的にはフリーズポリシーとしてデプロイされ、自身の失敗から改善することができない。 実世界の強化学習(RL)は、継続的な改善への道筋を提供するが、手動環境のリセットとタスクの監督は、自律的な学習を妨げる。 本稿では、シーン理解、弱点認識の実践、自己評価、ポリシー改善のループを閉じるエージェント現実世界のRLフレームワークである「textbf{FIND}」を紹介する。 FINDは、シーン条件付きパフォーマンス対応タスク選択問題として、自律的なプラクティスを再構築する。ロールアウト毎に事前に定義されたシーンを復元する代わりに、結果のシーンを使用して、次に何をするかを決定する。 視覚言語エージェントは、予め定義されたライブラリから実行可能なタスクを特定し、最近の成功率の低いタスクを優先順位付けし、ペア化された事前および事後観測を用いて結果を評価する。 凍結した$π_{0.5}$ VLA で FIND をインスタンス化する。 8つの実世界の操作タスクの中で、人間による独立した成功率は、$55\%から$71.9\%に改善される。 代表者は、6時間以内に456回の自律的なエピソードを完了し、30回のシーン回復の介入を必要とし、オンライン学習中に人間が提供する報酬ラベルは必要ない。 アブレーションと体系的評価は、重要な設計選択、エージェント評価精度、および人間の介入要求をさらに調査する。 私たちのウェブサイトは、FIND.github.ioで公開されています。

関連論文リスト

• ARS: Agentic Reward System for Robot Learning [9.149707597640221]
  Agentic Reward System (ARS) は、進捗報酬モデリングのための推論フレームワークである。 ARSは、イベントの提案と検証の両方に適応的な視覚検査を使用する。 ARSは、任意の端末結果ラベルと視覚的参照を組み込んで判断を通知することができる。
  論文  参考訳（メタデータ） (2026-09-28T07:37:09Z)
• FLARE: A Failure-Aware Framework for Autonomous Correction and Recovery in Visual-Language Robotic Manipulation [43.89036551517797]
  VLA(Vision-Language-Action Models)は、複雑な長距離ロボット操作タスクへの一般化において、大きな可能性を証明している。 彼らのパフォーマンスは、通常、軌道単調で障害のないデモンストレーションで訓練されるため、不安定なままである。 我々は、リトライとリセットのパラダイムを通じて、堅牢なエラー回復機能を備えたVLAを実現する新しいフレームワークであるFLAREを提案する。
  論文  参考訳（メタデータ） (2026-08-27T05:58:06Z)
• Teach and Grow: An Agent-Centered Architecture for General Robot Learning [20.811152351871257]
  Teach-and-Grow Learning (TGL)は、汎用ロボット学習のためのエージェント中心アーキテクチャである。 マルチモーダルエージェントは、いくつかの成功したデモを再利用可能なスキルブロック(意味のあるサブゴールのためのクローズドループ動作)に変換する。 新しいタスクは、タスク固有のポリシーの再トレーニングなしで取得される。
  論文  参考訳（メタデータ） (2026-08-17T23:45:21Z)
• Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement [52.93267443851685]
  VLA(Vision-Language-Action)モデルは様々な操作タスクにまたがって一般化することができる。 シミュレーションで純粋に訓練された強化学習政策は、実世界のVLAのゼロショットの堅牢性を改善することができるか? 本稿では,オブジェクトポーズを用いてVLA動作を洗練するオブジェクト中心残差RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-17T11:36:54Z)
• Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
  本稿では, 自己補正VLA (SC-VLA) を提案する。 SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
  論文  参考訳（メタデータ） (2026-02-25T06:58:06Z)
• ALOE: Action-Level Off-Policy Evaluation for Vision-Language-Action Model Post-Training [15.70383059978939]
  本研究では,オンライン強化学習(RL)による大規模基盤視覚アクション(VLA)システムの改善方法について検討する。 実際には、値関数は異なるデータソースから収集された軌跡断片から推定される。 VLAポストトレーニングのためのアクションレベルオフポリシー評価フレームワークであるALOEを提案する。
  論文  参考訳（メタデータ） (2026-02-13T07:46:37Z)
• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された多様な実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、30Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。