論文の概要: Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2607.19399v1
• Date: Mon, 06 Jul 2026 05:24:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.91964
• Title: Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models
• Title（参考訳）: 大規模ビジョンランゲージ・アクションモデルにおける効率よく一般化可能な強化学習のためのオフラインスーパービジョンの活用
• Abstract要約: ハイブリッドオフラインオンライントレーニングが両方のアプローチの利点を組み合わせられるかどうかを検討する。 以上の結果から,オフライントレーニングはOOD性能の限界を単独で達成するが,オフライン監視をRLに組み込むことで強力なOOD機能を維持することが示唆された。
• 参考スコア（独自算出の注目度）: 44.62501412135092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is commonly observed that online reinforcement learning (RL) produces better-performing strategies than offline methods across a broad range of performance measures. In particular, RL-trained policies exhibit stronger out-of-distribution (OOD) behavior, where models trained only with imitation learning approaches often struggle. A recent study introduced an OOD-focused benchmark and reported that RL-trained vision-language-action (VLA) policies achieve noticeably better OOD performance and slightly better in-distribution (IND) performance than their counterparts trained with supervised fine-tuning (SFT). In this work, we investigate whether hybrid offline-online training can combine the advantages of both approaches. Specifically, we study RL methods regularized by offline supervision via either offline data or an offline-trained reference policy. We evaluate these approaches on the OOD benchmark and compare them with both offline-only training and standard RL. Our results show that although offline training achieves limited OOD performance by itself, incorporating offline supervision into RL preserves strong OOD capability while substantially improving training efficiency. In particular, the guided methods reach performance close to that of standard RL while requiring roughly half of the training budget. Rather than producing a trade-off between speed and OOD performance, the hybrid approach retains strong OOD capability while achieving this efficiency gain. Project page: https://alstar8.github.io/offline-supervision-vla-rl
• Abstract（参考訳）: オンライン強化学習(RL)は,幅広いパフォーマンス指標において,オフライン手法よりも優れたパフォーマンス戦略を生み出すことが一般的である。 特に、RLで訓練されたポリシーは、より強力な配布外行動(OOD)を示し、模倣学習アプローチのみで訓練されたモデルでは、しばしば苦労する。 最近の研究は、OODにフォーカスしたベンチマークを導入し、RL訓練された視覚言語アクション(VLA)ポリシーは、教師付き微調整(SFT)で訓練されたものよりも、明らかに優れたOODパフォーマンスとわずかに優れたin-distriion(IND)パフォーマンスを実現していると報告した。 本研究は,ハイブリッドオフラインオンライントレーニングが両アプローチの利点を両立させることができるかどうかを考察する。 具体的には、オフラインデータまたはオフライン学習参照ポリシーを介して、オフライン監視によって正規化されるRL手法について検討する。 これらの手法をOODベンチマークで評価し,オフラインのみのトレーニングと標準RLとの比較を行った。 この結果から,オフライン学習はOOD性能の限界を自力で達成するが,オフライン管理をRLに組み込むことで,OOD能力は向上し,トレーニング効率は大幅に向上することがわかった。 特に、ガイドされた手法は、トレーニング予算の約半分を必要としながら、標準RLに近い性能に達する。 スピードとOODパフォーマンスのトレードオフを生成するのではなく、ハイブリッドアプローチは、この効率向上を達成しつつ、強力なOOD能力を保ちます。 プロジェクトページ:https://alstar8.github.io/offline-supervision-vla-rl

関連論文リスト

• Rainbow-DemoRL: Combining Improvements in Demonstration-Augmented Reinforcement Learning [5.7784578751617275]
  オフラインで収集した実演を活用することで,オンライン強化学習(RL)のサンプル効率を向上させるために,いくつかのアプローチが提案されている。 既存の実演型RLアプローチを3つのカテゴリに分類し,その強度,弱点,組み合わせに関する実証的研究を行った。 分析の結果,オフラインデータを直接再利用し,動作のクローン化による初期化は,オンラインサンプル効率を向上させるために,より複雑なオフラインRL事前学習法よりも優れていた。
  論文  参考訳（メタデータ） (2026-03-28T20:34:20Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• MOORL: A Framework for Integrating Offline-Online Reinforcement Learning [6.7265073544042995]
  オフラインおよびオンライン学習を統合するハイブリッドフレームワークであるMOORL(Meta Offline-Online Reinforcement Learning)を提案する。 提案手法は,オフラインデータとオンラインデータの相補的強みを効果的に組み合わせることで,探索の促進を図っている。 計算オーバーヘッドが最小限であるMOORLは、実世界のシナリオにおける実用的な応用の可能性を強調し、高い性能を達成する。
  論文  参考訳（メタデータ） (2025-06-11T10:12:50Z)
• Active Advantage-Aligned Online Reinforcement Learning with Offline Data [56.98480620108727]
  A3RLは,アクティブアドバンテージアライメント・アライメント・サンプリング・ストラテジーを取り入れた新しい信頼度を取り入れた手法である。 本手法はオフラインデータを利用する競合するオンラインRL技術より優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-11T20:31:59Z)
• Unsupervised-to-Online Reinforcement Learning [59.910638327123394]
  Unsupervised-to-online RL (U2O RL) は、ドメイン固有の教師なしオフラインRLを非教師なしオフラインRLに置き換える。 U2O RLは、複数の下流タスクのために訓練済みのモデルを再利用できるだけでなく、より良い表現も学べる。 U2O RLは、従来のオフライン-オフラインのRLアプローチにマッチしたり、さらに性能が優れていることを実証的に実証する。
  論文  参考訳（メタデータ） (2024-08-27T05:23:45Z)
• Is Value Learning Really the Main Bottleneck in Offline RL? [70.54708989409409]
  ポリシー抽出アルゴリズムの選択はオフラインRLの性能とスケーラビリティに大きく影響することを示す。 本稿では,2つの簡易なテスト時ポリシー改善手法を提案し,これらの手法が性能向上につながることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:07:49Z)
• Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL [42.57662196581823]
  オフ・ポリティクス強化学習(RL)は、多くの複雑な現実世界のタスクに取り組むことで顕著な成功を収めた。 既存のRLアルゴリズムの多くは、リプレイバッファ内の情報を最大限活用できない。 OBAC(Offline-Boosted Actor-Critic)は、モデルのないオンラインRLフレームワークで、優れたオフラインポリシーをエレガントに識別する。
  論文  参考訳（メタデータ） (2024-05-28T18:38:46Z)
• ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles [52.34951901588738]
  我々はENsemble-based Offline-To-Online (ENOTO) RLという新しいフレームワークを提案する。 Q-networksの数を増やすことで、オフラインの事前トレーニングとオンラインの微調整を、パフォーマンスを低下させることなくシームレスに橋渡しします。 実験により,ENOTOは既存のオフラインRL手法のトレーニング安定性,学習効率,最終性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-06-12T05:10:10Z)
• Using Offline Data to Speed Up Reinforcement Learning in Procedurally Generated Environments [16.62777710035937]
  本研究では, エージェントがオフラインデータをトラジェクトリ形式で活用して, 手続き的に生成した環境におけるサンプル効率を向上させることができるかを検討した。 1)オンラインRLトレーニングの前にポリシーを事前学習し、(2)オフラインデータからオンラインRLとILでポリシーを同時に訓練する。
  論文  参考訳（メタデータ） (2023-04-18T16:23:15Z)
• Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL [82.93243616342275]
  適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。 MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。 クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2021-06-16T20:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。