論文の概要: Transfer learning for process design with reinforcement learning
- arxiv url: http://arxiv.org/abs/2302.03375v1
- Date: Tue, 7 Feb 2023 10:31:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-08 16:41:25.606502
- Title: Transfer learning for process design with reinforcement learning
- Title（参考訳）: 強化学習によるプロセス設計のためのトランスファー学習
- Authors: Qinghe Gao, Haoyu Yang, Shachi M. Shanbhag, Artur M. Schweidtmann
- Abstract要約: 本稿では、厳密なシミュレーション手法と組み合わせて、RLを用いたプロセス設計にトランスファーラーニングを活用することを提案する。
トランスファーラーニング(transfer learning)とは、ある問題を解きながら得られた知識を記憶し、異なるターゲットドメインでこの情報を再利用する機械学習から確立されたアプローチである。
その結果,移動学習により,DWSIMで実現可能なフローシートを経済的に設計することが可能となり,収益率8%のフローシートが得られることがわかった。
- 参考スコア（独自算出の注目度）: 3.3084327202914476
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Process design is a creative task that is currently performed manually by
engineers. Artificial intelligence provides new potential to facilitate process
design. Specifically, reinforcement learning (RL) has shown some success in
automating process design by integrating data-driven models that learn to build
process flowsheets with process simulation in an iterative design process.
However, one major challenge in the learning process is that the RL agent
demands numerous process simulations in rigorous process simulators, thereby
requiring long simulation times and expensive computational power. Therefore,
typically short-cut simulation methods are employed to accelerate the learning
process. Short-cut methods can, however, lead to inaccurate results. We thus
propose to utilize transfer learning for process design with RL in combination
with rigorous simulation methods. Transfer learning is an established approach
from machine learning that stores knowledge gained while solving one problem
and reuses this information on a different target domain. We integrate transfer
learning in our RL framework for process design and apply it to an illustrative
case study comprising equilibrium reactions, azeotropic separation, and
recycles, our method can design economically feasible flowsheets with stable
interaction with DWSIM. Our results show that transfer learning enables RL to
economically design feasible flowsheets with DWSIM, resulting in a flowsheet
with an 8% higher revenue. And the learning time can be reduced by a factor of
2.
- Abstract（参考訳）: プロセスデザインは、現在エンジニアが手動で実行している創造的なタスクです。
人工知能はプロセス設計を促進する新しい可能性を提供します。
特に、強化学習(rl)は、反復設計プロセスでプロセスシミュレーションを用いてプロセスフローシートを構築することを学ぶデータ駆動モデルを統合することで、プロセス設計の自動化に成功しています。
しかし、学習過程における大きな課題の1つは、RLエージェントが厳密なプロセスシミュレータで多くのプロセスシミュレーションを必要とするため、長いシミュレーション時間と高価な計算能力を必要とすることである。
そのため,学習過程の高速化には短命なシミュレーション手法が一般的である。
しかし、短いカットは不正確な結果をもたらす可能性がある。
そこで本研究では,RLと厳密なシミュレーション手法を組み合わせたプロセス設計にトランスファーラーニングを利用する。
トランスファー・ラーニングは機械学習から確立されたアプローチで、1つの問題を解決しながら得られた知識を格納し、異なるターゲット領域でこの情報を再利用する。
プロセス設計のための移動学習をRLフレームワークに統合し, 平衡反応, 気相分離, リサイクルを含む実例研究に適用することにより, DWSIMと安定な相互作用を持つ経済的に実現可能なフローシートを設計することができる。
その結果,移動学習により,DWSIMで実現可能なフローシートを経済的に設計することができ,収益率8%のフローシートが得られることがわかった。
また、学習時間を2倍に短縮できる。
関連論文リスト
- Machine learning surrogates for efficient hydrologic modeling: Insights from stochastic simulations of managed aquifer recharge [0.0]
プロセスベース水理モデルと機械学習サロゲートモデルのためのハイブリッドモデリングワークフローを提案する。
ケーススタディでは, このワークフローを, 将来的な管理型帯水層帯水層における飽和地下水流のシミュレーションに応用する。
以上の結果から,MLサロゲートモデルでは,絶対誤差率10%以下で絶対誤差を達成でき,大域保存の順序付けが可能であることが示唆された。
論文 参考訳（メタデータ） (2024-07-30T15:24:27Z) - The Artificial Neural Twin -- Process Optimization and Continual Learning in Distributed Process Chains [3.79770624632814]
本稿では,モデル予測制御,ディープラーニング,センサネットワークの概念を組み合わせた人工ニューラルツインを提案する。
我々のアプローチでは、分散プロセスのステップの状態を推定するために、微分可能なデータ融合を導入します。
相互接続されたプロセスステップを準ニューラルネットワークとして扱うことで、プロセス最適化やモデル微調整のための損失勾配をプロセスパラメータにバックプロパゲートすることができる。
論文 参考訳（メタデータ） (2024-03-27T08:34:39Z) - Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
本稿では,意思決定問題における変換器の文脈内学習能力について検討する。
本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。
事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
論文 参考訳（メタデータ） (2023-06-26T17:58:50Z) - Data efficient surrogate modeling for engineering design: Ensemble-free
batch mode deep active learning for regression [0.6021787236982659]
そこで本研究では,学生と教師の共用で,サロゲートモデルを学習するための,シンプルでスケーラブルな学習手法を提案する。
提案手法を用いることで,DBALやモンテカルロサンプリングのような他のベースラインと同レベルのサロゲート精度が得られる。
論文 参考訳（メタデータ） (2022-11-16T02:31:57Z) - Simulation-Based Parallel Training [55.41644538483948]
このようなボトルネックを緩和するトレーニングフレームワークを設計するために、現在進行中の作業を紹介します。
トレーニングプロセスと並行してデータを生成する。
このバイアスをメモリバッファで軽減する戦略を提案する。
論文 参考訳（メタデータ） (2022-11-08T09:31:25Z) - SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via
Differentiable Physics-Based Simulation and Rendering [49.78647219715034]
本稿では,SAM-RL と呼ばれる感性認識モデルに基づく強化学習システムを提案する。
SAM-RLは、センサーを意識した学習パイプラインによって、ロボットがタスクプロセスを監視するための情報的視点を選択することを可能にする。
我々は,ロボット組立,ツール操作,変形可能なオブジェクト操作という3つの操作タスクを達成するための実世界の実験に,我々のフレームワークを適用した。
論文 参考訳（メタデータ） (2022-10-27T05:30:43Z) - Flowsheet synthesis through hierarchical reinforcement learning and
graph neural networks [0.4588028371034406]
アクター批判論理に基づく化学プロセス設計のための強化学習アルゴリズムを提案する。
提案アルゴリズムは,化学プロセスをグラフとして表現し,グラフ畳み込みニューラルネットワークを用いてプロセスグラフから学習する。
論文 参考訳（メタデータ） (2022-07-25T10:42:15Z) - A Workflow for Offline Model-Free Robotic Reinforcement Learning [117.07743713715291]
オフライン強化学習(RL)は、オンラインインタラクションを伴わずに、事前の経験のみを活用することによって、学習制御ポリシを可能にする。
本研究では,教師付き学習問題に対して,比較的よく理解されたオフラインRLと類似した実践的ワークフローを開発する。
オンラインチューニングを伴わない効果的なポリシー作成におけるこのワークフローの有効性を実証する。
論文 参考訳（メタデータ） (2021-09-22T16:03:29Z) - Efficient Transformers in Reinforcement Learning using Actor-Learner
Distillation [91.05073136215886]
「Actor-Learner Distillation」は、大容量学習者モデルから小容量学習者モデルへ学習の進捗を移す。
Actor-Learner Distillation を用いて,トランスフォーマー学習モデルの明確なサンプル効率向上を再現する,いくつかの挑戦的なメモリ環境を実証する。
論文 参考訳（メタデータ） (2021-04-04T17:56:34Z) - RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。
RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
論文 参考訳（メタデータ） (2020-06-16T08:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。