論文の概要: SOLE-R1: Video-Language Reasoning as the Sole Reward for On-Robot Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2603.28730v1
• Date: Mon, 30 Mar 2026 17:46:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.543748
• Title: SOLE-R1: Video-Language Reasoning as the Sole Reward for On-Robot Reinforcement Learning
• Title（参考訳）: SOLE-R1: ロボット強化学習のためのソル・リワードとしてのビデオ言語推論
• Authors: Philip Schroeder, Thomas Weng, Karl Schmeckpeper, Eric Rosen, Stephen Hart, Ondrej Biza,
• Abstract要約: オンライン強化学習のための唯一の報酬信号として設計されたビデオ言語推論モデル。 我々は、SOLE-R1が24の未確認タスクで成功し、強い視覚言語報酬器を著しく上回っていることを示す。
• 参考スコア（独自算出の注目度）: 8.073523925328645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) have shown impressive capabilities across diverse tasks, motivating efforts to leverage these models to supervise robot learning. However, when used as evaluators in reinforcement learning (RL), today's strongest models often fail under partial observability and distribution shift, enabling policies to exploit perceptual errors rather than solve the task. To address this limitation, we introduce SOLE-R1 (Self-Observing LEarner), a video-language reasoning model explicitly designed to serve as the sole reward signal for online RL. Given only raw video observations and a natural-language goal, SOLE-R1 performs per-timestep spatiotemporal chain-of-thought (CoT) reasoning and produces dense estimates of task progress that can be used directly as rewards. To train SOLE-R1, we develop a large-scale video trajectory and reasoning synthesis pipeline that generates temporally grounded CoT traces aligned with continuous progress supervision. This data is combined with foundational spatial and multi-frame temporal reasoning, and used to train the model with a hybrid framework that couples supervised fine-tuning with RL from verifiable rewards. Across four different simulation environments and a real-robot setting, SOLE-R1 enables zero-shot online RL from random initialization: robots learn previously unseen manipulation tasks without ground-truth rewards, success indicators, demonstrations, or task-specific tuning. SOLE-R1 succeeds on 24 unseen tasks and substantially outperforms strong vision-language rewarders, including GPT-5 and Gemini-3-Pro, while exhibiting markedly greater robustness to reward hacking.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、様々なタスクにまたがる印象的な能力を示しており、これらのモデルを活用してロボット学習を監督する動機となっている。 しかしながら、強化学習(RL)において評価器として使われる場合、今日の最強モデルは部分的な可観測性や分布シフトの下で失敗することが多く、そのタスクを解くよりも知覚的エラーを活用できる。 この制限に対処するために,オンラインRLの唯一の報酬信号として設計されたビデオ言語推論モデルであるSOLE-R1(Self-Observing LEarner)を導入する。 生のビデオ観察と自然言語の目標のみを前提として、SOLE-R1は時間ごとの時空間連鎖(CoT)推論を行い、報酬として直接使用できるタスク進捗の密度の高い推定を生成する。 SOLE-R1を訓練するために,時間的に接地したCoTトレースを生成する大規模ビデオ軌道と推論合成パイプラインを開発した。 このデータは、基本的な空間的および多フレームの時間的推論と組み合わせられ、検証可能な報酬からRLを教師付き微調整するハイブリッドフレームワークでモデルを訓練するために使用される。 4つの異なるシミュレーション環境と実ロボット設定の中で、SOLE-R1はランダム初期化からゼロショットオンラインRLを可能にする。 SOLE-R1は24の未確認タスクで成功し、GPT-5やGemini-3-Proなどの強力な視覚言語報酬器よりも優れており、ハッキングに対する強い堅牢性を示している。

関連論文リスト

• Supervised Reinforcement Learning: From Expert Trajectories to Step-wise Reasoning [49.22815446849924]
  大規模言語モデル(LLM)は多段階推論を必要とする問題に悩まされることが多い。 小規模なオープンソースモデルでは、正しいソリューションがほとんどサンプリングされない場合には、RLVR(Reinforcement Learning with Verifiable Rewards)が失敗する。 問題解決を論理的「行動」の系列を生成するものとして再構成するフレームワークとして, SRL(Supervised Reinforcement Learning)を提案する。
  論文  参考訳（メタデータ） (2025-10-29T22:05:08Z)
• VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning [77.34267241692706]
  Vision-Language Navigation(VLN)は、エージェントが自然言語命令を使用して現実世界の環境をナビゲートする必要がある、AIの実施における中核的な課題である。 本稿では、LVLM(Large Vision-Language Models)を利用して、エゴセントリックな動画ストリームを連続的なナビゲーションアクションに変換するエンドツーエンドフレームワークであるVLN-R1を提案する。
  論文  参考訳（メタデータ） (2025-06-20T17:59:59Z)
• VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning [14.099306230721245]
  VLA-RLは、オンライン収集データをテスト時に改善する探索ベースのフレームワークである。 自動抽出タスクセグメントにアノテートされた擬似報酬ラベルに基づいてトレーニングされたロボットプロセス報酬モデルとして、事前学習された視覚言語モデルを微調整する。 VLA-RLにより、OpenVLA-7BはLIBEROの40の挑戦的なロボット操作タスクにおいて、最強の微調整ベースラインを4.5%超えることができる。
  論文  参考訳（メタデータ） (2025-05-24T14:42:51Z)
• STAR-R1: Spatial TrAnsformation Reasoning by Reinforcing Multimodal LLMs [49.41782982417187]
  MLLM(Multimodal Large Language Models)は、様々なタスクにまたがる顕著な能力を示すが、空間的推論において人間よりもはるかに遅れている。 このギャップを変換駆動型視覚推論(TVR)を用いて検討する。 本稿では,STAR-R1を提案する。STAR-R1は単一ステージのRLパラダイムとTVRに適した微細な報酬機構を統合した新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T17:57:38Z)
• VLM-R1: A Stable and Generalizable R1-style Large Vision-Language Model [29.524164786422368]
  最近、DeepSeek R1は、強化学習が大規模言語モデル(LLM)の推論能力を大幅に改善できることを示した。 視覚言語モデル(VLM)へのR1型強化学習の拡張について検討する。 VLM-R1 は,汎用視覚言語タスクにおける VLM の性能向上のために RL を利用した専用フレームワークである。
  論文  参考訳（メタデータ） (2025-04-10T10:05:15Z)
• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。