論文の概要: Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone

• arxiv url: http://arxiv.org/abs/2412.06685v1
• Date: Mon, 09 Dec 2024 17:28:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:57:12.742254
• Title: Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone
• Title（参考訳）: 政策非依存RL:あらゆるクラスとバックボーンのオフラインRLとオンラインRLファインチューニング
• Authors: Max Sobol Mark, Tian Gao, Georgia Gabriela Sampaio, Mohan Kumar Srirama, Archit Sharma, Chelsea Finn, Aviral Kumar,
• Abstract要約: ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。 オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
• 参考スコア（独自算出の注目度）: 72.17534881026995
• License:
• Abstract: Recent advances in learning decision-making policies can largely be attributed to training expressive policy models, largely via imitation learning. While imitation learning discards non-expert data, reinforcement learning (RL) can still learn from suboptimal data. However, instantiating RL training of a new policy class often presents a different challenge: most deep RL machinery is co-developed with assumptions on the policy class and backbone, resulting in poor performance when the policy class changes. For instance, SAC utilizes a low-variance reparameterization policy gradient for Gaussian policies, but this is unstable for diffusion policies and intractable for autoregressive categorical policies. To address this issue, we develop an offline RL and online fine-tuning approach called policy-agnostic RL (PA-RL) that can effectively train multiple policy classes, with varying architectures and sizes. We build off the basic idea that a universal supervised learning loss can replace the policy improvement step in RL, as long as it is applied on "optimized" actions. To obtain these optimized actions, we first sample multiple actions from a base policy, and run global optimization (i.e., re-ranking multiple action samples using the Q-function) and local optimization (i.e., running gradient steps on an action sample) to maximize the critic on these candidates. PA-RL enables fine-tuning diffusion and transformer policies with either autoregressive tokens or continuous action outputs, at different sizes, entirely via actor-critic RL. Moreover, PA-RL improves the performance and sample-efficiency by up to 2 times compared to existing offline RL and online fine-tuning methods. We show the first result that successfully fine-tunes OpenVLA, a 7B generalist robot policy, autonomously with Cal-QL, an online RL fine-tuning algorithm, improving from 40% to 70% in the real world in 40 minutes.
• Abstract（参考訳）: 意思決定政策の最近の進歩は、主に模倣学習による表現力豊かな政策モデルの訓練によるものである。 模倣学習は非専門的なデータを捨てるが、強化学習(RL)は相変わらず準最適データから学ぶことができる。 しかし、新しい政策クラスのRLトレーニングのインスタンス化は、しばしば異なる課題を示す: ほとんどの深いRL機械は、政策クラスとバックボーンの仮定と共同開発され、政策クラスが変化するとパフォーマンスが低下する。 例えば、SACはガウス政策に低分散再パラメータ化ポリシー勾配を利用するが、これは拡散政策には不安定であり、自己回帰的なカテゴリー政策には難解である。 この問題に対処するため、我々は、複数のポリシークラスを効果的に学習し、異なるアーキテクチャとサイズで学習できるポリシー非依存のRL(PA-RL)と呼ばれるオフラインのRLとオンラインの微調整手法を開発した。 最適化された行動に適用される限り、普遍的な教師付き学習損失は、RLにおける政策改善のステップを置き換えることができるという基本的な考え方を構築します。 これらの最適化された動作を得るために、まず基本方針から複数のアクションをサンプリングし、大域的な最適化(Q関数を用いた複数のアクションサンプルの再分類)と局所的な最適化(アクションサンプル上での勾配ステップの実行)を行い、これらの候補に対する批判を最大化する。 PA-RLは、アクタークリティカルなRLを介して、自己回帰トークンまたは連続的なアクション出力のいずれでも、微調整の拡散とトランスフォーマーポリシーを可能にする。 さらに,PA-RLは,既存のオフラインRLやオンラインファインチューニングに比べて最大2倍の性能向上を実現している。 オンラインRLファインチューニングアルゴリズムであるCal-QLで自律的に7B汎用ロボットポリシーであるOpenVLAを成功させ、40分で現実の40%から70%に改善した最初の結果を示す。

関連論文リスト

• Is Value Learning Really the Main Bottleneck in Offline RL? [70.54708989409409]
  ポリシー抽出アルゴリズムの選択はオフラインRLの性能とスケーラビリティに大きく影響することを示す。 本稿では,2つの簡易なテスト時ポリシー改善手法を提案し,これらの手法が性能向上につながることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:07:49Z)
• Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL [42.57662196581823]
  オフ・ポリティクス強化学習(RL)は、多くの複雑な現実世界のタスクに取り組むことで顕著な成功を収めた。 既存のRLアルゴリズムの多くは、リプレイバッファ内の情報を最大限活用できない。 OBAC(Offline-Boosted Actor-Critic)は、モデルのないオンラインRLフレームワークで、優れたオフラインポリシーをエレガントに識別する。
  論文  参考訳（メタデータ） (2024-05-28T18:38:46Z)
• Behavior Proximal Policy Optimization [14.701955559885615]
  オフライン強化学習(英語: offline reinforcement learning, RL)は、既存の非政治アクター批判的手法が不十分な課題である。 オンラインのオンライン政治アルゴリズムは、自然にオフラインのRLを解くことができる。 本稿では,制約や正規化を伴わずにオフラインのRLを解消する振舞いプロキシポリシー最適化(BPPO)を提案する。
  論文  参考訳（メタデータ） (2023-02-22T11:49:12Z)
• Offline RL With Realistic Datasets: Heteroskedasticity and Support Constraints [82.43359506154117]
  非均一な変数を持つデータから、典型的なオフライン強化学習手法が学習できないことを示す。 提案手法は,Atariゲーム,ナビゲーション,ピクセルベースの操作において,多種多様なオフラインRL問題にまたがる性能向上を図っている。
  論文  参考訳（メタデータ） (2022-11-02T11:36:06Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• POPO: Pessimistic Offline Policy Optimization [6.122342691982727]
  オフポリシーRLメソッドが、バリュー関数ビューからオフライン設定で学習できない理由について検討する。 悲観的オフライン政策最適化(POPO)を提案する。これは悲観的価値関数を学習し、強い政策を得る。 POPOは驚くほどよく機能し、高次元の状態と行動空間を持つタスクにスケールする。
  論文  参考訳（メタデータ） (2020-12-26T06:24:34Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)
• BRPO: Batch Residual Policy Optimization [79.53696635382592]
  バッチ強化学習では、学習したポリシーが行動(データ生成)ポリシーに近いように制約されることがよくある。 本稿では,学習方針の逸脱が国家の行動に依存した残留政策を提案する。 我々は,ポリシーと許容偏差の両方を学習し,政策性能の低い境界を共同で最大化する新しいRL法BRPOを導出する。
  論文  参考訳（メタデータ） (2020-02-08T01:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。