論文の概要: When Life Gives You BC, Make Q-functions: Extracting Q-values from Behavior Cloning for On-Robot Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.05172v1
• Date: Wed, 06 May 2026 17:40:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.969588
• Title: When Life Gives You BC, Make Q-functions: Extracting Q-values from Behavior Cloning for On-Robot Reinforcement Learning
• Title（参考訳）: 生命がBCに与えるQ-function:オンロボット強化学習のための行動クローンからQ-valueを抽出する
• Abstract要約: BC(Behavior Cloning)は、ロボット学習において、非常に効果的なパラダイムとして登場した。 BCには、デモが収集された後、オンライン改善のための自己誘導メカニズムがない。 我々は,強化学習のためのBCからQ2RL,Q-Estimation,Q-Gatingを提案する。
• 参考スコア（独自算出の注目度）: 18.872979307256962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Behavior Cloning (BC) has emerged as a highly effective paradigm for robot learning. However, BC lacks a self-guided mechanism for online improvement after demonstrations have been collected. Existing offline-to-online learning methods often cause policies to replace previously learned good actions due to a distribution mismatch between offline data and online learning. In this work, we propose Q2RL, Q-Estimation and Q-Gating from BC for Reinforcement Learning, an algorithm for efficient offline-to-online learning. Our method consists of two parts: (1) Q-Estimation extracts a Q-function from a BC policy using a few interaction steps with the environment, followed by online RL with (2) Q-Gating, which switches between BC and RL policy actions based on their respective Q-values to collect samples for RL policy training. Across manipulation tasks from D4RL and robomimic benchmarks, Q2RL outperforms SOTA offline-to-online learning baselines on success rate and time to convergence. Q2RL is efficient enough to be applied in an on-robot RL setting, learning robust policies for contact-rich and high precision manipulation tasks such as pipe assembly and kitting, in 1-2 hours of online interaction, achieving success rates of up to 100% and up to 3.75x improvement against the original BC policy. Code and video are available at https://pages.rai-inst.com/q2rl_website/
• Abstract（参考訳）: BC(Behavior Cloning)は、ロボット学習において、非常に効果的なパラダイムとして登場した。 しかし、BCはデモが収集された後、オンライン改善のための自己誘導メカニズムを欠いている。 既存のオフライン-オンライン学習手法は、オフラインデータとオンライン学習の間の分散ミスマッチのために、事前に学習した良い行動を置き換えるポリシーをしばしば引き起こす。 本研究では,効率的なオフライン-オンライン学習アルゴリズムであるReinforcement Learningのために,BCからQ2RL,Q-Estimation,Q-Gatingを提案する。 提案手法は,(1)Q-Estimation が環境とのインタラクションのいくつかのステップを用いて,BCL ポリシーからQ-関数を抽出し,(2)Q-Gating を用いたオンライン RL が各Q-値に基づいて BC と RL ポリシーアクションを切り替え,RL ポリシートレーニングのサンプルを収集する。 D4RLとロボミクスベンチマークの操作タスク全体で、Q2RLはSOTAのオフラインからオンラインまでの学習ベースラインを成功率と収束時間で上回ります。 Q2RLは、オンロボットRL設定に適用できるほど効率的であり、パイプ組立やキットなどの接触リッチで高精度な操作タスクのための堅牢なポリシーをオンラインインタラクションの1～2時間で学習し、オリジナルのBCポリシーに対して最大100%、最大3.75倍の改善を達成できる。 コードとビデオはhttps://pages.rai-inst.com/q2rl_website/で公開されている。

関連論文リスト

• Do You Really Need to Pretrain Q-Functions for Online RL Fine-Tuning? [68.87153412034499]
  本研究は,Q-関数の事前学習が,事前学習ベースポリシー上での微調整に実際に役立つかどうかを考察する。 事前訓練中に学習したQ関数は、事前訓練された政策のQ関数であり、オンラインの微調整が収束するQ関数ではない。 オンラインRLにおけるQ関数学習のブートストラップとして,多種多様なポリシーをトレーニングし,プールされたロールアウトを利用する簡単な方法であるPolicy Ensemble (IPE) による初期化を提案する。
  論文  参考訳（メタデータ） (2026-07-29T17:59:51Z)
• Learning from Suboptimal Data in Continuous Control via Auto-Regressive Soft Q-Network [23.481553466650453]
  本稿では,粗大かつ自己回帰的な方法でQ値をモデル化する値ベースRLアルゴリズムであるARSQを提案する。 ARSQは、連続的な作用空間を粗い階層の離散空間に分解し、きめ細かい連続制御タスクのサンプル効率を高める。 決定ステップごとに次元的行動の利点を自動回帰予測し、継続的な制御タスクにおいてより効果的な意思決定を可能にする。
  論文  参考訳（メタデータ） (2025-02-01T03:04:53Z)
• Equivariant Offline Reinforcement Learning [7.822389399560674]
  実演数が少ないオフラインRLに対して,$SO(2)$-equivariantなニューラルネットワークを使用することを検討した。 実験の結果,保守的Q-Learning(CQL)とImplicit Q-Learning(IQL)の同変バージョンは,同変でないQ-Learningよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T03:02:49Z)
• Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning [104.05522247411018]
  オフライン強化学習(RL)手法は微調整中は動作が悪くなる傾向がある。 このような校正値関数を学習するオフラインRLアルゴリズムが効果的なオンライン微調整につながることを示す。 実際には、Cal-QLは、オフラインのRLのための保守的なQ学習(CQL)の上に、1行のコード変更で実装できる。
  論文  参考訳（メタデータ） (2023-03-09T18:31:13Z)
• Extreme Q-Learning: MaxEnt RL without Entropy [88.97516083146371]
  現代のDeep Reinforcement Learning (RL)アルゴリズムは、連続的な領域での計算が困難である最大Q値の推定を必要とする。 エクストリーム値理論(EVT)を用いた最大値を直接モデル化するオンラインおよびオフラインRLの新しい更新ルールを導入する。 EVTを使用することで、Extreme Q-Learningフレームワークをオンラインに導き、その結果、初めてオフラインのMaxEnt Q-learningアルゴリズムをオフラインにします。
  論文  参考訳（メタデータ） (2023-01-05T23:14:38Z)
• ConserWeightive Behavioral Cloning for Reliable Offline Reinforcement Learning [27.322942155582687]
  オフライン強化学習(RL)の目標は、静的なログ付きデータセットからほぼ最適なポリシを学ぶことで、高価なオンラインインタラクションをサイドステッピングすることにある。 行動クローン(BC)は、教師あり学習を通じてオフラインの軌跡を模倣することで、オフラインRLに対する簡単なソリューションを提供する。 オフラインRLにおける条件付きBCの性能を向上させるために,ConserWeightive Behavioral Cloning (CWBC)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T05:37:22Z)
• Mildly Conservative Q-Learning for Offline Reinforcement Learning [63.2183622958666]
  オフライン強化学習(RL)は、環境と継続的に対話することなく、静的なログ付きデータセットから学習するタスクを定義する。 既存のアプローチ、目に見えない行動のペナルティ化、行動方針の規則化は悲観的すぎる。 我々は,適切な擬似Q値を割り当てることで,OODアクションを積極的に訓練するマイルリー保守的Q-ラーニング(MCQ)を提案する。
  論文  参考訳（メタデータ） (2022-06-09T19:44:35Z)
• Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs [50.75812033462294]
  我々は,Q-ラーニングの実践的成功と悲観的理論的結果とのギャップを埋める。 本稿では,新しいQ-Rex法とQ-RexDaReを提案する。 Q-Rex は線形 MDP の最適ポリシを効率的に見つけることができる。
  論文  参考訳（メタデータ） (2021-10-16T01:47:41Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• Conservative Q-Learning for Offline Reinforcement Learning [106.05582605650932]
  CQLは既存のオフラインRLメソッドよりも大幅に優れており、多くの場合、ファイナルリターンの2～5倍高いポリシを学習しています。 理論的には、CQLは現在のポリシーの価値の低いバウンダリを生成し、理論的改善保証を伴う政策学習手順に組み込むことができることを示す。
  論文  参考訳（メタデータ） (2020-06-08T17:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。