論文の概要: Augmenting PID Control with Deep Reinforcement Learning: A Hybrid Approach to the Industrial Benchmark

• arxiv url: http://arxiv.org/abs/2609.22584v1
• Date: Fri, 18 Sep 2026 21:07:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.465467
• Title: Augmenting PID Control with Deep Reinforcement Learning: A Hybrid Approach to the Industrial Benchmark
• Title（参考訳）: 深層強化学習によるPID制御の強化:産業ベンチマークへのハイブリッドアプローチ
• Abstract要約: 複雑な環境での利点を証明するために,高度深層強化学習(DRL)を提案する。 本稿では,DRLの信頼性を確保しつつ,DRLの発見能力を活用するハイブリッドPID-RLコントローラを提案する。
• 参考スコア（独自算出の注目度）: 3.7565443710265805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As industrial processes grow in complexity, traditional Proportional-Integral-Derivative (PID) controllers are often insufficient for handling their non-linear, multi-input dynamics. We propose using advanced Deep Reinforcement Learning (DRL) to prove its advantages in these complex environments. To do this, we rely on the Industrial Benchmark (IB). The IB is a realistic simulation that tests DRL algorithms against the key challenges of industrial applications: high-dimensional state spaces, delayed effects, and conflicting multi-criterial objectives. This testbed highlights DRL's core trade-off: while its final policies can often be unstable, its unique strength is the ability to autonomously discover optimal, non-obvious policies in multi-dimensional spaces where simple controllers fail. In this paper, we propose a novel hybrid PID-RL controller that leverages DRL's discovery capability while ensuring Reliability. After developing a multi-objective reward function to make DRL viable, we use a twin-delayed deep deterministic (TD3) agent as a discovery tool to find the optimal, non-obvious settings for the IB's 'Gain' and 'Shift' parameters. By feeding these discovered parameters to a simple, tuned PID controller, our hybrid model successfully combines all three characteristics: it achieves the optimal Performance and Efficiency of the best DRL agent with the Reliability of a classical controller. This work demonstrates a practical methodology for using DRL to augment, rather than replace, trusted industrial control systems.
• Abstract（参考訳）: 産業プロセスが複雑化するにつれて、従来のPIDコントローラは非線形で多入力のダイナミクスを扱うには不十分であることが多い。 本稿では,これらの複雑な環境での利点を証明するために,高度な深層強化学習(DRL)を提案する。 そのためには、Industrial Benchmark (IB) を頼りにしています。 IBはDRLアルゴリズムを高次元状態空間、遅延効果、矛盾する多条件目標といった産業応用の課題に対してテストする現実的なシミュレーションである。 DRLの最終的な方針は不安定であることが多いが、そのユニークな強みは、単純なコントローラが失敗する多次元空間において、最適な非回避ポリシーを自律的に発見する能力である。 本稿では,DRLの信頼性を確保しつつ,DRLの発見能力を活用するハイブリッドPID-RLコントローラを提案する。 IBの「ゲイン」パラメータと「シフト」パラメータの最適設定を見つけるために、DRLを有効にするための多目的報酬関数を開発した後、発見ツールとして双遅延Deep Deterministic (TD3) エージェントを用いた。 これらのパラメータをシンプルでチューニングされたPIDコントローラに供給することにより、我々のハイブリッドモデルは3つの特性をうまく組み合わせることができる。 本研究は、DRLを信頼性の高い産業制御システムを置き換えるのではなく、拡張するために利用する実践的な方法論を実証する。

関連論文リスト

• Demystifying Reinforcement Learning in Agentic Reasoning [90.3737088727791]
  エージェント推論における強化学習のデミスティフィケーションのための包括的かつ体系的な調査を行う。 i) 縫合された合成軌道を、実際のエンドツーエンドのツール・ツー・ユース・トラジェクトリに置き換えることで、より強力なSFTが得られる。 探索フレンドリーな技術は、高いクリップ、過剰な報酬形成、適切なポリシーエントロピーの維持といったエージェントRLにとって不可欠であり、訓練効率を向上させることができる。
  論文  参考訳（メタデータ） (2025-10-13T17:57:15Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• CHEQ-ing the Box: Safe Variable Impedance Learning for Robotic Polishing [5.467140383171385]
  本研究では, 可変インピーダンスを有するロボット研磨のためのハイブリッドRLアルゴリズムCHEQの実験的検討を行った。 ハードウェア上では、CHEQは効果的な研磨動作を実現し、8時間のトレーニングを必要とせず、5回の障害しか発生しない。 その結果、ハードウェア上で直接訓練された実世界のコンタクトリッチなタスクに対して、適応型ハイブリッドRLの可能性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-01-14T10:13:41Z)
• SINDy-RL: Interpretable and Efficient Model-Based Reinforcement Learning [5.036739921794781]
  SINDy-RLは、SINDyとDRLを組み合わせて、ダイナミックスモデル、報酬関数、制御ポリシーの効率的、解釈可能、信頼性の高い表現を作成するためのフレームワークである。 本稿では,ベンチマーク制御環境とフロー制御問題に対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-14T05:17:39Z)
• Compressing Deep Reinforcement Learning Networks with a Dynamic Structured Pruning Method for Autonomous Driving [63.155562267383864]
  深部強化学習(DRL)は複雑な自律運転シナリオにおいて顕著な成功を収めている。 DRLモデルは、必然的に高いメモリ消費と計算をもたらし、リソース限定の自動運転デバイスへの広範な展開を妨げる。 そこで本研究では,DRLモデルの非重要なニューロンを段階的に除去する,新しい動的構造化プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-07T09:00:30Z)
• Pessimistic Model Selection for Offline Deep Reinforcement Learning [56.282483586473816]
  深層強化学習(DRL)は多くのアプリケーションにおいてシーケンシャルな意思決定問題を解決する大きな可能性を示している。 主要な障壁の1つは、DRLが学んだ政策の一般化性の低下につながる過度に適合する問題である。 理論的保証のあるオフラインDRLに対する悲観的モデル選択(PMS)手法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T06:29:49Z)
• Auto-Agent-Distiller: Towards Efficient Deep Reinforcement Learning Agents via Neural Architecture Search [15.3602645148428]
  本稿では,様々なタスクに対して最適なDRLエージェントを自動検索するAuto-Agent-Distiller (A2D) フレームワークを提案する。 我々は,バニラNASがDRLトレーニング安定性のばらつきが大きいため,最適なエージェントの探索に容易に失敗できることを実証した。 そこで我々は,教師エージェントのアクターと評論家の両方から知識を蒸留し,探索プロセスを安定させ,探索エージェントの最適性を向上する新しい蒸留機構を開発する。
  論文  参考訳（メタデータ） (2020-12-24T04:07:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。