論文の概要: CRONOS: Benchmarking Non-Episodic Reinforcement Learning for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2611.05080v1
• Date: Tue, 03 Nov 2026 15:41:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 14:38:13.026491
• Title: CRONOS: Benchmarking Non-Episodic Reinforcement Learning for Robotic Manipulation
• Title（参考訳）: CRONOS:ロボットマニピュレーションのための非エポゾディック強化学習のベンチマーク
• Abstract要約: 我々は,非エポゾディックシーンリセット下でのRL微調整のシミュレーションベンチマークであるCRONOSを紹介する。 オブジェクト設定やエンドエフェクタのポーズの変化により、非エポゾディックな設定では、素直に微調整された事前学習ポリシーが失敗することを示す。 非エポゾディックなトレーニングは、長い水平操作を促進し、これまで見られなかったオブジェクト構成やタスクシーケンスへの一般化を改善する。
• 参考スコア（独自算出の注目度）: 3.8465242228890766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) is promising for adapting robot policies to unstructured real-world environments. However, standard RL pipelines rely on episodic training with frequent scene resets, which is impractical for real-world deployment due to the need for substantial human intervention. While prior work has studied non-episodic RL in relatively small policies trained from scratch, its behavior when fine-tuning modern large-scale pre-trained vision-language-action (VLA) models remains underexplored. In this work, we introduce CRONOS, a simulation benchmark for RL fine-tuning of VLAs under non-episodic scene resets. CRONOS leverages high-fidelity physics simulators and adopts shared-scene multi-task settings. Using CRONOS, we show that naively fine-tuning pre-trained policies fails in non-episodic settings due to shifts in object configurations and end-effector poses; however, these challenges can be mitigated through targeted reset allocation and by addressing biases in pre-trained models. Moreover, we find that non-episodic training enhances long-horizon manipulation and improves generalization to previously unseen object configurations and task sequences. Project page: https://embodiedai-ntu.github.io/cronos/
• Abstract（参考訳）: 強化学習(RL)は、非構造化現実環境にロボットポリシーを適用することを約束する。 しかし、標準的なRLパイプラインはシーンリセットを頻繁に行うエピソジックトレーニングに依存しており、人間の介入が必要なため、現実のデプロイメントでは実用的ではない。 従来の研究は、スクラッチから訓練された比較的小さなポリシーで非エポゾディックなRLを研究してきたが、現代の大規模事前学習型視覚言語反応(VLA)モデルが未検討のままである。 本研究では,非エポゾディックシーンリセット下でのVLAの微調整のシミュレーションベンチマークであるCRONOSを紹介する。 CRONOSは高忠実度物理シミュレータを活用し、共有シーンのマルチタスク設定を採用する。 CRONOSを用いて、オブジェクト設定やエンドエフェクタのポーズの変化により、非エポゾディックな設定で、微調整された事前学習ポリシーが失敗することを示すが、これらの課題は、ターゲットリセットアロケーションや、事前学習されたモデルのバイアスに対処することで軽減できる。 さらに,非エポゾディックトレーニングにより,長期の水平操作が促進され,未確認のオブジェクト構成やタスクシーケンスへの一般化が向上することがわかった。 プロジェクトページ: https://embodiedai-ntu.github.io/cronos/

関連論文リスト

• ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models [28.039393905115478]
  ACCRUEは、タスクにまたがる軽量アクターと批評家ネットワークを備えた、継続的なオフポリティックなRLフレームワークである。 タスク後の学習をほぼゼロにすることで加速し、実ロボットのトレーニング時間を31.0%から68.5%に大幅に短縮する。
  論文  参考訳（メタデータ） (2026-10-13T15:53:26Z)
• RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
  継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。 最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。 我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2026-07-05T15:46:11Z)
• Adapting Generalist Robot Policies with Semantic Reinforcement Learning [59.009122725071386]
  ジェネラリストロボットポリシーは、大規模な事前訓練から多様な行動のレパートリーを学ぶ。 本稿では,オンラインインタラクションを通じて,このプロンプト空間を最適化するためのセマンティック・アクション強化学習(SARL)を提案する。 我々は、SARLが基本的に新しい機能をアンロックしていることを示します。
  論文  参考訳（メタデータ） (2026-06-30T17:00:33Z)
• TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning [9.021212644908767]
  強化学習(RL)を用いた微調整型事前学習ロボット政策は、行動クローニング(BC)による事前学習によって引き起こされるボトルネックを継承することが多い。 本稿では,効率的なロボットポリシーの微調整を実現するために必要な探索を可能にする統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T15:07:04Z)
• Towards Bridging the Gap between Large-Scale Pretraining and Efficient Finetuning for Humanoid Control [18.618486126491334]
  SAC(Soft Actor-Critic)がヒューマノイド・ロコモーション・ポリシーの大規模事前学習を確実に支援していることが判明した。 SAC-pretrained Policyは、モデルベースの手法を用いて、新しい環境やアウト・オブ・ディストリビューションタスクで微調整できる。 全体としては, 大規模シミュレーションのウォールクロック効率と, 微調整時のモデルベース学習のサンプル効率を両立させる。
  論文  参考訳（メタデータ） (2026-01-29T07:43:24Z)
• Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning [61.380634253724594]
  次トーケン予測に基づく大規模自己回帰モデルの構築と強化学習(RL)による微調整 自己回帰モデルの内部表現を動作させ,探索することにより,この問題を克服できることを示す。
  論文  参考訳（メタデータ） (2025-12-23T18:51:50Z)
• From Imitation to Refinement -- Residual RL for Precise Assembly [19.9786629249219]
  近年のビヘイビア・クローン(BC)の進歩により、ロボットに新しいタスクを教えるのが容易になった。 しかし、教育の容易さは信頼性の低いパフォーマンスを犠牲にしている。 我々は,BCの教えやすさと長期的能力を維持しながら信頼性を克服する,シンプルで効果的な方法であるResiPを考案した。
  論文  参考訳（メタデータ） (2024-07-23T17:44:54Z)
• Foundation Policies with Hilbert Representations [54.44869979017766]
  ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。 我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。 実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T19:09:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。