論文の概要: Hybrid Reinforcement Learning and Model Predictive Control for Adaptive Control of Hydrogen-Diesel Dual-Fuel Combustion

• arxiv url: http://arxiv.org/abs/2504.16875v1
• Date: Wed, 23 Apr 2025 16:51:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 15:11:51.022394
• Title: Hybrid Reinforcement Learning and Model Predictive Control for Adaptive Control of Hydrogen-Diesel Dual-Fuel Combustion
• Title（参考訳）: 水素・ディーゼル二重燃料燃焼の適応制御のためのハイブリッド強化学習とモデル予測制御
• Authors: Julian Bedei, Murray McBain, Charles Robert Koch, Jakob Andert, David Gordon,
• Abstract要約: 強化学習(RL)と機械学習統合モデル予測制御(ML-MPC)は水素-ディーゼル二重燃料エンジン制御を最適化するための有望なアプローチである。 本研究では,ML-MPC フレームワークを RL エージェントを組み込んだハイブリッド RL と ML-MPC のアプローチを提案する。
• 参考スコア（独自算出の注目度）: 1.188383832081829
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reinforcement Learning (RL) and Machine Learning Integrated Model Predictive Control (ML-MPC) are promising approaches for optimizing hydrogen-diesel dual-fuel engine control, as they can effectively control multiple-input multiple-output systems and nonlinear processes. ML-MPC is advantageous for providing safe and optimal controls, ensuring the engine operates within predefined safety limits. In contrast, RL is distinguished by its adaptability to changing conditions through its learning-based approach. However, the practical implementation of either method alone poses challenges. RL requires high variance in control inputs during early learning phases, which can pose risks to the system by potentially executing unsafe actions, leading to mechanical damage. Conversely, ML-MPC relies on an accurate system model to generate optimal control inputs and has limited adaptability to system drifts, such as injector aging, which naturally occur in engine applications. To address these limitations, this study proposes a hybrid RL and ML-MPC approach that uses an ML-MPC framework while incorporating an RL agent to dynamically adjust the ML-MPC load tracking reference in response to changes in the environment. At the same time, the ML-MPC ensures that actions stay safe throughout the RL agent's exploration. To evaluate the effectiveness of this approach, fuel pressure is deliberately varied to introduce a model-plant mismatch between the ML-MPC and the engine test bench. The result of this mismatch is a root mean square error (RMSE) in indicated mean effective pressure of 0.57 bar when running the ML-MPC. The experimental results demonstrate that RL successfully adapts to changing boundary conditions by altering the tracking reference while ML-MPC ensures safe control inputs. The quantitative improvement in load tracking by implementing RL is an RSME of 0.44 bar.
• Abstract（参考訳）: Reinforcement Learning (RL) と Machine Learning Integrated Model Predictive Control (ML-MPC) は、水素-ディーゼル二重燃料エンジン制御を最適化するための有望なアプローチである。 ML-MPCは安全かつ最適な制御を提供し、エンジンが予め定義された安全限度内で作動することを保証するのに有利である。 対照的に、RLは学習に基づくアプローチによる条件の変化への適応性によって区別される。 しかし、どちらのメソッドも実践的な実装だけでは課題が生じる。 RLは、早期学習の段階で制御入力に高いばらつきを必要とするため、安全でない動作を潜在的に実行することでシステムにリスクを生じさせ、機械的損傷をもたらす。 逆にML-MPCは、最適制御入力を生成するための正確なシステムモデルに依存しており、エンジンアプリケーションで自然に発生するインジェクタ老化のようなシステムドリフトへの適応性が制限されている。 そこで本研究では,ML-MPC と ML-MPC を併用したハイブリッド RL と ML-MPC のアプローチを提案し,環境変化に応じて ML-MPC の負荷追跡基準を動的に調整する。 同時にML-MPCは、RLエージェントの探索を通してアクションが安全であることを保証する。 本手法の有効性を評価するため, ML-MPCとエンジン試験ベンチとのモデルプラントミスマッチを導入するために, 燃料圧力を意図的に変化させる。 このミスマッチの結果は、ML-MPCの実行時に0.57バーの有効圧力を示す根平均二乗誤差(RMSE)である。 実験の結果,ML-MPCは安全な制御入力を保証しながら,追従基準を変更することにより,RLが境界条件の変更に適応できることが確認された。 RLの導入による負荷追跡の定量的改善は、RSMEが0.44バールである。

関連論文リスト

• Enhancing Autonomous Driving Systems with On-Board Deployed Large Language Models [25.418353477628035]
  本研究では,低レベルモデル予測制御器(MPC)と局所展開型大規模言語モデル(LLM)を組み合わせたハイブリッドアーキテクチャを提案する。 DecisionxLLMモジュールは、ロボットの状態情報を自然言語命令に対して評価し、所望の運転行動への順守を保証する。 本稿では、検索型拡張生成(RAG)、低ランク適応(LoRA)、微調整、量子化を利用するアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-15T13:49:17Z)
• Safe Reinforcement Learning for Real-World Engine Control [39.9074966439168]
  この研究は、安全クリティカルな現実世界環境に強化学習(RL)を適用するためのツールチェーンを導入する。 RLは実行可能な解決策を提供するが、過度の圧力上昇率などの安全上の懸念に対処する必要がある。 k-アネレスト隣り合うアルゴリズムに基づくリアルタイム安全監視を実装し、テストベンチとの安全な相互作用を可能にする。
  論文  参考訳（メタデータ） (2025-01-28T01:19:05Z)
• Self-Healing Machine Learning: A Framework for Autonomous Adaptation in Real-World Environments [50.310636905746975]
  実世界の機械学習システムは、基礎となるデータ生成プロセスの分散シフトによって、モデルの性能劣化に遭遇することが多い。 概念のドリフト適応のような既存のシフトへのアプローチは、その理性に依存しない性質によって制限される。 我々はこれらの制限を克服するために自己修復機械学習(SHML)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:05:51Z)
• Safety Constrained Multi-Agent Reinforcement Learning for Active Voltage Control [34.95810473913879]
  能動電圧制御問題を制約付きマルコフゲームとして定式化し,安全性に制約のあるMARLアルゴリズムを提案する。 実世界規模シナリオを用いた配電ネットワークシミュレーション環境における本手法の評価を行った。
  論文  参考訳（メタデータ） (2024-05-14T09:03:00Z)
• Parameter-Adaptive Approximate MPC: Tuning Neural-Network Controllers without Retraining [50.00291020618743]
  この研究は、大規模なデータセットを再計算し、再トレーニングすることなくオンラインチューニングが可能な、新しいパラメータ適応型AMPCアーキテクチャを導入している。 資源制約の厳しいマイクロコントローラ(MCU)を用いた2種類の実カートポールシステムの揺らぎを制御し,パラメータ適応型AMPCの有効性を示す。 これらの貢献は、現実世界のシステムにおけるAMPCの実践的応用に向けた重要な一歩である。
  論文  参考訳（メタデータ） (2024-04-08T20:02:19Z)
• Reinforcement Learning with Model Predictive Control for Highway Ramp Metering [14.389086937116582]
  この研究は、交通フロー管理を強化するためのモデルベースと学習ベースの戦略の相乗効果について考察する。 制御問題は、適切なステージコスト関数を作成することにより、RLタスクとして定式化される。 RLアルゴリズムの関数近似として MPC 最適問題を利用する MPC ベースの RL アプローチを提案し,オンランプの効率的な制御について検討した。
  論文  参考訳（メタデータ） (2023-11-15T09:50:54Z)
• Introducing a Deep Neural Network-based Model Predictive Control Framework for Rapid Controller Implementation [41.38091115195305]
  本研究は、HCCI燃焼制御のためのディープニューラルネットワーク(DNN)に基づく非線形MPCの実験的実装を示す。 ARM Cortex A72上のMPCのリアルタイム実装を可能にするために、Acadosソフトウェアパッケージを使用することで、最適化計算は1.4ms以内で完了する。 現像した制御器のIMEP軌道は, プロセス制約の観測に加えて, 根平均2乗誤差0.133バールで良好であった。
  論文  参考訳（メタデータ） (2023-10-12T15:03:50Z)
• Learned Risk Metric Maps for Kinodynamic Systems [54.49871675894546]
  本研究では,高次元力学系のコヒーレントリスクメトリクスをリアルタイムに推定するための学習型リスクメトリクスマップを提案する。 LRMMモデルは設計と訓練が簡単で、障害セットの手続き的生成、状態と制御のサンプリング、および関数近似器の教師付きトレーニングのみを必要とする。
  論文  参考訳（メタデータ） (2023-02-28T17:51:43Z)
• Train Hard, Fight Easy: Robust Meta Reinforcement Learning [78.16589993684698]
  実世界のアプリケーションにおける強化学習(RL)の大きな課題は、環境、タスク、クライアントの違いである。 標準的なMRL法は、タスクよりも平均的なリターンを最適化するが、リスクや難易度の高いタスクでは悪い結果に悩まされることが多い。 本研究では, MRL の頑健な目標を制御レベルで定義する。 ロバストメタRLアルゴリズム(RoML)を用いてデータ非効率に対処する
  論文  参考訳（メタデータ） (2023-01-26T14:54:39Z)
• Covert Model Poisoning Against Federated Learning: Algorithm Design and Optimization [76.51980153902774]
  フェデレーテッド・ラーニング(FL)はパラメータ伝達中にFLモデルに対する外部攻撃に対して脆弱である。 本稿では,最先端の防御アグリゲーション機構に対処する有効なMPアルゴリズムを提案する。 実験の結果,提案したCMPアルゴリズムは,既存の攻撃機構よりも効果的で,かなり優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T03:28:18Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。