論文の概要: On-Policy Optimization of ANFIS Policies Using Proximal Policy Optimization
- arxiv url: http://arxiv.org/abs/2507.01039v2
- Date: Fri, 04 Jul 2025 02:40:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:34.45072
- Title: On-Policy Optimization of ANFIS Policies Using Proximal Policy Optimization
- Title（参考訳）: 近似ポリシ最適化を用いたANFISポリシのオンポリシック最適化
- Authors: Kaaustaaub Shankar, Wilhelm Louw, Kelly Cohen,
- Abstract要約: PPO(Proximal Policy Optimization)を用いたニューロファジィコントローラのトレーニングのための強化学習手法を提案する。
PPOで訓練されたファジィエージェントは、20000更新後、最大500のリターンをゼロで達成した。
このことは、強化学習タスクにおいて、PPOが説明可能な神経ファジィエージェントを訓練する可能性を強調している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a reinforcement learning method for training neuro-fuzzy controllers using Proximal Policy Optimization (PPO). Unlike prior approaches that used Deep Q-Networks (DQN) with Adaptive Neuro-Fuzzy Inference Systems (ANFIS), our PPO-based framework leverages a stable on-policy actor-critic setup. Evaluated on the CartPole-v1 environment across multiple seeds, PPO-trained fuzzy agents consistently achieved the maximum return of 500 with zero variance after 20000 updates, outperforming ANFIS-DQN baselines in both stability and convergence speed. This highlights PPO's potential for training explainable neuro-fuzzy agents in reinforcement learning tasks.
- Abstract（参考訳）: 本稿では,PPO(Proximal Policy Optimization)を用いた神経ファジィコントローラのトレーニングのための強化学習手法を提案する。
適応型ニューロファジィ推論システム(ANFIS)とDeep Q-Networks(DQN)を併用した従来のアプローチとは異なり、当社のPPOベースのフレームワークは、安定したオン・ポリティクス・アクター・クリティック・セットアップを活用している。
複数の種にまたがるCartPole-v1環境を評価したところ、PPOを訓練したファジィエージェントは20000更新後に最大500のリターンをゼロで達成し、安定性と収束速度の両方においてANFIS-DQNベースラインを上回った。
このことは、強化学習タスクにおいて、PPOが説明可能な神経ファジィエージェントを訓練する可能性を強調している。
関連論文リスト
- On-Policy RL with Optimal Reward Baseline [109.47676554514193]
On-Policy RL with Optimal reward baseline (OPO) は、新しい簡易強化学習アルゴリズムである。
OPOは、訓練プロセスを実証的に安定化し、探索を強化する、正確なオンライントレーニングの重要性を強調している。
その結果、OPOの優れた性能と訓練安定性を、追加のモデルや正規化条件なしで示すことができた。
論文 参考訳（メタデータ） (2025-05-29T15:58:04Z) - FDPP: Fine-tune Diffusion Policy with Human Preference [57.44575105114056]
人間の嗜好を考慮した微調整拡散政策は、嗜好に基づく学習を通して報酬関数を学習する。
この報酬は、訓練済みの政策を強化学習で微調整するために使われる。
実験により、FDPPは性能を損なうことなく、効果的にポリシーの動作をカスタマイズできることが示されている。
論文 参考訳（メタデータ） (2025-01-14T17:15:27Z) - Beyond the Boundaries of Proximal Policy Optimization [17.577317574595206]
この研究は、更新ベクトルのインナーループ推定に分解されるPPOの別の視点を提供する。
本稿では,これらの更新ベクトルを任意の勾配勾配を用いて適用するフレームワークとして,外部近似ポリシー最適化(outer-PPO)を提案する。
方法はBrax, Jumanji, MinAtar環境上で積極的に調整されたPPOベースラインに対して評価される。
論文 参考訳（メタデータ） (2024-11-01T15:29:10Z) - A dynamical clipping approach with task feedback for Proximal Policy Optimization [29.855219523565786]
最適なPPOクリッピング境界がトレーニングプロセス全体を通して一貫していることの理論的証明はない。
過去の研究は、PPOクリッピングバウンドを動的に調整し、PPOの性能を向上させることを目的としている。
我々は、強化学習タスクの嗜好(最大回帰)をよりよく反映するために、Preference based Proximal Policy Optimization (Pb-PPO)を提案する。
論文 参考訳（メタデータ） (2023-12-12T06:35:56Z) - Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline
Reinforcement Learning [57.83919813698673]
Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。
我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
論文 参考訳（メタデータ） (2023-11-25T00:30:58Z) - Statistically Efficient Variance Reduction with Double Policy Estimation
for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。
D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
論文 参考訳（メタデータ） (2023-08-28T20:46:07Z) - Secrets of RLHF in Large Language Models Part I: PPO [81.01936993929127]
大規模言語モデル (LLMs) は、人工知能の進歩のためのブループリントを定式化した。
人間のフィードバックによる強化学習(RLHF)がこの追求を支える重要な技術パラダイムとして出現する。
本稿では、RLHFの枠組みを解明し、PPOの内部構造を再評価し、PPOアルゴリズムを構成する部分が政策エージェントの訓練にどのように影響するかを考察する。
論文 参考訳（メタデータ） (2023-07-11T01:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。