論文の概要: Overcoming Overfitting in Reinforcement Learning via Gaussian Process Diffusion Policy

• arxiv url: http://arxiv.org/abs/2506.13111v1
• Date: Mon, 16 Jun 2025 05:41:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.502328
• Title: Overcoming Overfitting in Reinforcement Learning via Gaussian Process Diffusion Policy
• Title（参考訳）: ガウス過程拡散政策による強化学習におけるオーバーフィッティングの克服
• Authors: Amornyos Horprasert, Esa Apriaskar, Xingyu Liu, Lanlan Su, Lyudmila S. Mihaylova,
• Abstract要約: 本稿では,拡散モデルとガウス過程回帰を統合した新しいアルゴリズムを提案する。 シミュレーションの結果,本手法は分布シフト条件下での最先端アルゴリズムよりも優れていた。
• 参考スコア（独自算出の注目度）: 10.637854569854232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the key challenges that Reinforcement Learning (RL) faces is its limited capability to adapt to a change of data distribution caused by uncertainties. This challenge arises especially in RL systems using deep neural networks as decision makers or policies, which are prone to overfitting after prolonged training on fixed environments. To address this challenge, this paper proposes Gaussian Process Diffusion Policy (GPDP), a new algorithm that integrates diffusion models and Gaussian Process Regression (GPR) to represent the policy. GPR guides diffusion models to generate actions that maximize learned Q-function, resembling the policy improvement in RL. Furthermore, the kernel-based nature of GPR enhances the policy's exploration efficiency under distribution shifts at test time, increasing the chance of discovering new behaviors and mitigating overfitting. Simulation results on the Walker2d benchmark show that our approach outperforms state-of-the-art algorithms under distribution shift condition by achieving around 67.74% to 123.18% improvement in the RL's objective function while maintaining comparable performance under normal conditions.
• Abstract（参考訳）: 強化学習(RL)が直面する重要な課題の1つは、不確実性に起因するデータ分散の変化に適応する能力の制限である。 この課題は、特に、深いニューラルネットワークを意思決定者またはポリシーとして使用するRLシステムで発生し、固定環境における長期トレーニングの後、過度に適合する傾向にある。 本稿では,拡散モデルとガウス過程回帰(GPR)を統合した新しいアルゴリズムであるガウス過程拡散政策(GPDP)を提案する。 GPRは拡散モデルを導出し、学習されたQ-関数を最大化するアクションを生成する。 さらに、GPRのカーネルベースの性質は、テスト時の分散シフト下でのポリシーの探索効率を高め、新しい振る舞いを発見する可能性を高め、オーバーフィッティングを緩和する。 Walker2dベンチマークのシミュレーション結果から,通常の条件下では同等の性能を維持しつつ,RLの目的関数を67.74%から123.18%向上させることで,分布シフト条件下での最先端アルゴリズムよりも優れた性能を示すことが示された。

関連論文リスト

• Hierarchical Reinforcement Learning with Uncertainty-Guided Diffusional Subgoals [12.894271401094615]
  HRLの重要な課題は、低レベルの政策が時間とともに変化し、高レベルの政策が効果的なサブゴールを生成するのが難しくなることである。 本稿では,ガウス過程(GP)によって正規化された条件拡散モデルを訓練して,複雑なサブゴールを生成する手法を提案する。 この枠組みに基づいて,拡散政策とGPの予測平均からサブゴールを選択する戦略を開発する。
  論文  参考訳（メタデータ） (2025-05-27T20:38:44Z)
• Efficient Safety Alignment of Large Language Models via Preference Re-ranking and Representation-based Reward Modeling [84.00480999255628]
  大規模言語モデル(LLM)の安全性アライメントのための強化学習アルゴリズムは,分散シフトの課題に直面している。 現在のアプローチでは、ターゲットポリシーからのオンラインサンプリングを通じてこの問題に対処するのが一般的である。 モデル固有の安全判断能力を活用して報酬信号を抽出する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-13T06:40:34Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• Diffusion Actor-Critic with Entropy Regulator [32.79341490514616]
  エントロピーレギュレータ(DACER)を用いたオンラインRLアルゴリズムについて提案する。 このアルゴリズムは拡散モデルの逆過程を新しい政策関数として概念化する。 MuJoCoベンチマークとマルチモーダルタスクの実験は、DACERアルゴリズムが最先端(SOTA)性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-05-24T03:23:27Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)
• Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO [90.90009491366273]
  本稿では,2つの一般的なアルゴリズムのケーススタディにより,ディープポリシー勾配アルゴリズムにおけるアルゴリズムの進歩のルーツについて検討する。 具体的には,「コードレベルの最適化」の結果について検討する。 以上の結果から, (a) TRPOに対するPPOの累積報酬のほとんどを担っていることが示され, (b) RL メソッドの動作方法が根本的に変化していることが示唆された。
  論文  参考訳（メタデータ） (2020-05-25T16:24:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。