論文の概要: MFRL-BI: Design of a Model-free Reinforcement Learning Process Control Scheme by Using Bayesian Inference

• arxiv url: http://arxiv.org/abs/2309.09205v1
• Date: Sun, 17 Sep 2023 08:18:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 16:51:04.373192
• Title: MFRL-BI: Design of a Model-free Reinforcement Learning Process Control Scheme by Using Bayesian Inference
• Title（参考訳）: MFRL-BI:ベイズ推論を用いたモデルフリー強化学習プロセス制御方式の設計
• Authors: Yanrong Li, Juan Du, and Wei Jiang
• Abstract要約: プロセス制御方式の設計は、製造システムのばらつきを低減するために品質保証に不可欠である。 本稿では,モデルフリー強化学習(MFRL)手法を提案する。
• 参考スコア（独自算出の注目度）: 5.375049126954924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Design of process control scheme is critical for quality assurance to reduce variations in manufacturing systems. Taking semiconductor manufacturing as an example, extensive literature focuses on control optimization based on certain process models (usually linear models), which are obtained by experiments before a manufacturing process starts. However, in real applications, pre-defined models may not be accurate, especially for a complex manufacturing system. To tackle model inaccuracy, we propose a model-free reinforcement learning (MFRL) approach to conduct experiments and optimize control simultaneously according to real-time data. Specifically, we design a novel MFRL control scheme by updating the distribution of disturbances using Bayesian inference to reduce their large variations during manufacturing processes. As a result, the proposed MFRL controller is demonstrated to perform well in a nonlinear chemical mechanical planarization (CMP) process when the process model is unknown. Theoretical properties are also guaranteed when disturbances are additive. The numerical studies also demonstrate the effectiveness and efficiency of our methodology.
• Abstract（参考訳）: プロセス制御スキームの設計は、製造システムの変化を減らすために品質保証に不可欠である。 半導体製造を例として、幅広い文献は特定のプロセスモデル(通常は線形モデル)に基づいた制御最適化に焦点を当て、製造プロセスが始まる前に実験によって得られる。 しかし、実際のアプリケーションでは、特に複雑な製造システムでは、事前定義されたモデルは正確ではないかもしれない。 モデル不正確性に対処するために,実時間データに基づいてモデルフリー強化学習(MFRL)手法を提案し,同時に制御を最適化する。 具体的には, ベイズ推定を用いた外乱分布の更新により, 製造過程におけるばらつきを低減し, 新たなmfrl制御方式を設計する。 その結果、提案したMFRLコントローラは、プロセスモデルが不明な場合に、非線形化学メカニカルプラナライゼーション(CMP)プロセスで良好に動作することを示した。 理論的な性質は外乱が付加されると保証される。 また,本手法の有効性と有効性についても検討した。

関連論文リスト

• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Reinforcement Learning of Display Transfer Robots in Glass Flow Control Systems: A Physical Simulation-Based Approach [6.229216953398305]
  フロー制御システムは製造システムの生産能力を高めるための重要な概念である。 フロー制御に関するスケジューリング最適化問題を解決するため、既存の手法はドメイン・ヒューマン・エキスパートによる設計に依存している。 本稿では,物理シミュレーション環境を実装し,ディスプレイ製造における移動ロボットを用いた現実的なフロー制御システムの設計を提案する。
  論文  参考訳（メタデータ） (2023-10-12T02:10:29Z)
• Reduced Order Modeling of a MOOSE-based Advanced Manufacturing Model with Operator Learning [2.517043342442487]
  先進的製造(AM)は、核材料への潜在的な応用について、原子力コミュニティに多大な関心を集めている。 1つの課題は、実行時に製造プロセスを制御することによって、望ましい材料特性を得ることである。 深部強化学習(DRL)に基づくインテリジェントAMは、最適な設計変数を生成するためのプロセスレベルの自動制御機構に依存している。
  論文  参考訳（メタデータ） (2023-08-18T17:38:00Z)
• Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
  予測可能なMDP抽象化(PMA)を提案する。 元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。 我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-02-08T07:37:51Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Opportunities of Hybrid Model-based Reinforcement Learning for Cell Therapy Manufacturing Process Development and Control [6.580930850408461]
  細胞治療製造の主な課題は、高い複雑さ、高い不確実性、非常に限られたプロセスデータである。 本稿では,プロセス開発と制御を効率的にガイドするフレームワーク"hybridRL"を提案する。 実験的検討では, 細胞治療の例を用いて, 提案したハイブリッド-RLフレームワークが, 古典的決定論的力学モデルによるプロセス最適化よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-10T00:01:19Z)
• A Reinforcement Learning-based Economic Model Predictive Control Framework for Autonomous Operation of Chemical Reactors [0.5735035463793008]
  本研究では,非線形系のオンラインモデルパラメータ推定のためのEMPCとRLを統合するための新しいフレームワークを提案する。 最先端のRLアルゴリズムとEMPCスキームを最小限の修正で使用できます。
  論文  参考訳（メタデータ） (2021-05-06T13:34:30Z)
• Towards Standardizing Reinforcement Learning Approaches for Stochastic Production Scheduling [77.34726150561087]
  強化学習はスケジューリングの問題を解決するのに使える。 既存の研究は、コードが利用できない複雑なシミュレーションに依存している。 から選ぶべきRLの設計の広大な配列があります。 モデル記述の標準化 - 生産セットアップとRL設計の両方 - と検証スキームは前提条件です。
  論文  参考訳（メタデータ） (2021-04-16T16:07:10Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。