論文の概要: Improving Online Reinforcement Learning via Bidirectional Behavior Prior Distillation

• arxiv url: http://arxiv.org/abs/2609.20268v1
• Date: Wed, 29 Jul 2026 06:33:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.649735
• Title: Improving Online Reinforcement Learning via Bidirectional Behavior Prior Distillation
• Title（参考訳）: 蒸留前の双方向行動によるオンライン強化学習の改善
• Abstract要約: オンライン強化学習のための双方向行動優先蒸留(B2PD)アルゴリズムを提案する。 B2PDはアクション値の先行値を利用して、条件付き変分オートエンコーダ(CVAE)を誘導し、高値の振る舞い支援セットを生成する。 B2PDは,安定な政策最適化を維持しつつ,サンプル効率を大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 9.661715535305655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online reinforcement learning (RL) algorithms frequently exhibit poor sample efficiency and unstable learning dynamics, stemming from systematic critic estimation errors that are exacerbated by greedy policy updates. Existing behavior-prior reinforcement learning methods attempt to alleviate this issue by relying on offline pre-training to learn behavior models from fixed datasets and using policy priors to constrain online policy updates. However, the limited quality of offline datasets often hinders the ability to provide high-value policies that can effectively guide policy updates. The absence of expert trajectories significantly impairs online policy learning, leading to low sample efficiency and suboptimal performance. To address these challenges, we depart from conventional behavior prior approaches and propose a Bidirectional Behavior Prior Distillation (B2PD) algorithm. B2PD leverages action-value priors to guide a conditional variational autoencoder (CVAE) in generating a high-value behavior support set. The resulting expert behavior priors are further distilled into the agent, effectively reducing inefficient exploration and enabling stable policy optimization, while establishing a bidirectional knowledge flow mechanism. Empirical evaluations on both state- and pixel-based tasks verify that B2PD substantially improves sample efficiency while maintaining stable policy optimization. More broadly, this work shows that enforcing high-quality behavioral support during online learning effectively mitigates critic-induced error amplification, enabling structured behavior priors to guide policy updates in a principled and sample-efficient manner.
• Abstract（参考訳）: オンライン強化学習(RL)アルゴリズムは、しばしばサンプル効率の低下と不安定な学習のダイナミクスを示す。 既存の行動優先強化学習手法は、オンラインポリシー更新を制限するために、固定データセットから行動モデルを学ぶために、オフラインで事前トレーニングを頼りにすることで、この問題を緩和しようとする。 しかし、オフラインデータセットの限られた品質は、しばしばポリシー更新を効果的にガイドする高価値なポリシーを提供する能力を妨げます。 専門家の軌跡がないことで、オンライン政策学習が著しく損なわれ、サンプル効率が低下し、準最適性能が低下する。 これらの課題に対処するため、従来の行動先行手法から脱却し、双方向行動優先蒸留(B2PD)アルゴリズムを提案する。 B2PDはアクション値の先行値を利用して、条件付き変分オートエンコーダ(CVAE)を誘導し、高値の振る舞い支援セットを生成する。 得られた専門家の行動前処理は、さらにエージェントに蒸留され、非効率な探索を効果的に削減し、双方向の知識フロー機構を確立しつつ、安定した政策最適化を可能にする。 状態および画素ベースのタスクの実証評価により、B2PDは安定したポリシー最適化を維持しながら、サンプル効率を大幅に改善することを確認した。 より広範に、オンライン学習における高品質な行動支援の実施は、批判による誤り増幅を効果的に軽減し、原則的でサンプル効率のよい方法でポリシー更新を導く前に構造化された行動を可能にすることを示す。

関連論文リスト

• Critic-Free Pretraining for Efficient Online Reinforcement Learning Fine-Tuning [8.965329606005263]
  批判自由事前訓練は、オフライン批判訓練のアプローチを完全に放棄する効率的なパラダイムである。 各種のO2Oアルゴリズムと互換性があり、従来のO2Oアルゴリズムと一貫して一致するか改善されている。
  論文  参考訳（メタデータ） (2026-08-11T04:38:32Z)
• Expert Behavior Prior Reinforcement Learning [10.983482150597913]
  行動事前強化学習(BPRL)は、オンライン強化学習(RL)におけるサンプル効率向上のための有望なパラダイムとして登場した。 既存のBPRLメソッドの多くは静的なオフラインデータセットに依存しており、データ多様性の低さと最適下軌道品質に悩まされることが多い。 本稿では,オンライン再生バッファから直接,エキスパートポリシーの事前生成を学習するエキスパート行動優先(EBP)アルゴリズムを提案する。 EBPは最先端のオンラインRLアルゴリズムを著しく上回り、より高いサンプリング効率とより安定した収束を実現している。
  論文  参考訳（メタデータ） (2026-07-23T13:26:57Z)
• Q-learning with Adjoint Matching [58.78551025170267]
  本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。 QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。 オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-20T18:45:34Z)
• Efficient Offline Reinforcement Learning: The Critic is Critical [5.916429671763282]
  オフ・ポリシー強化学習は、教師付きアプローチを超えてパフォーマンスを改善するための有望なアプローチを提供する。 本稿では、まず行動方針を学習し、教師付き学習で批判し、その後に非政治強化学習で改善することによるベスト・オブ・ボス・アプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-19T09:16:38Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Iteratively Refined Behavior Regularization for Offline Reinforcement Learning [57.10922880400715]
  本稿では,保守的政策反復に基づく行動規則化を大幅に強化する新しいアルゴリズムを提案する。 行動規則化に使用される基準ポリシーを反復的に洗練することにより、保守的な政策更新は徐々に改善される。 D4RLベンチマークの実験結果から,本手法は従来のタスクのベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T07:46:24Z)
• Offline Reinforcement Learning with Closed-Form Policy Improvement Operators [88.54210578912554]
  行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。 本稿では,閉形式政策改善演算子を提案する。 我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T06:29:26Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。