論文の概要: Reinforcement Learning under Model Risk for Biomanufacturing
Fermentation Control
- arxiv url: http://arxiv.org/abs/2101.03735v1
- Date: Mon, 11 Jan 2021 07:47:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-04 20:18:29.056348
- Title: Reinforcement Learning under Model Risk for Biomanufacturing
Fermentation Control
- Title(参考訳): バイオマニュファクチャリング発酵制御のためのモデルリスク下の強化学習
- Authors: Bo Wang, Wei Xie, Tugce Martagan, Alp Akcay
- Abstract要約: 生物療法は、生物学的メカニズムが複雑で、高い出力を持つ生体細胞で製造される。
本稿では,バイオプロセスオンライン学習を支援するモデルリスクを考慮したモデルベース強化学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 4.691455078971186
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In the biopharmaceutical manufacturing, fermentation process plays a critical
role impacting on productivity and profit. Since biotherapeutics are
manufactured in living cells whose biological mechanisms are complex and have
highly variable outputs, in this paper, we introduce a model-based
reinforcement learning framework accounting for model risk to support
bioprocess online learning and guide the optimal and robust customized stopping
policy for fermentation process. Specifically, built on the dynamic mechanisms
of protein and impurity generation, we first construct a probabilistic model
characterizing the impact of underlying bioprocess stochastic uncertainty on
impurity and protein growth rates. Since biopharmaceutical manufacturing often
has very limited data during the development and early stage of production, we
derive the posterior distribution quantifying the process model risk, and
further develop the Bayesian rule based knowledge update to support the online
learning on underlying stochastic process. With the prediction risk accounting
for both bioprocess stochastic uncertainty and model risk, the proposed
reinforcement learning framework can proactively hedge all sources of
uncertainties and support the optimal and robust customized decision making. We
conduct the structural analysis of optimal policy and study the impact of model
risk on the policy selection. We can show that it asymptotically converges to
the optimal policy obtained under perfect information of underlying stochastic
process. Our case studies demonstrate that the proposed framework can greatly
improve the biomanufacturing industrial practice.
- Abstract(参考訳): バイオ医薬品製造において、発酵プロセスは生産性と利益に重要な役割を果たす。
生物療法は,生物機構が複雑で出力が可変な生体細胞で製造されているため,本論文では,生物プロセスのオンライン学習を支援するモデルリスクを考慮したモデルベース強化学習フレームワークを導入し,発酵プロセスの最適かつ堅牢な停止ポリシーを導出する。
具体的には, タンパク質と不純物生成の動的メカニズムに基づいて, まず, 不純物とタンパク質の成長速度に対する生物過程の確率的不確かさの影響を特徴付ける確率モデルを構築した。
バイオ医薬品製造は製造過程の発達と初期段階において非常に限られたデータしか持たないことが多いため、プロセスモデルリスクを定量化する後続分布を導出し、基礎となる確率過程に基づくオンライン学習を支援するためにベイズ規則に基づく知識更新を開発する。
生体プロセスの確率的不確かさとモデルリスクの両方に対する予測リスク会計により、提案する強化学習フレームワークは、不確実性のすべてのソースを積極的にヘッジし、最適かつ堅牢な意思決定を支援することができる。
最適政策の構造分析を行い,モデルリスクが政策選択に与える影響について検討する。
確率過程の完全な情報に基づいて得られる最適方針に漸近的に収束することを示すことができる。
本研究の事例から, 提案する枠組みは, バイオマニュファクチャリング産業の実践を大幅に改善できることを示す。
関連論文リスト
- Applications of Machine Learning in Biopharmaceutical Process
Development and Manufacturing: Current Trends, Challenges, and Opportunities [7.762212551172391]
機械学習(ML)は、バイオ医薬品分野に多大な貢献をしている。
その応用はまだ初期段階にあり、品質・バイ・デザインに基づくバイオ医薬品の開発・製造を直接支援している。
本稿では, 上流, 下流, 製品定式化プロセスの生物製品設計, 監視, 制御, 最適化におけるMLソリューションの現状を概観する。
論文 参考訳(メタデータ) (2023-10-16T00:35:24Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-17T00:26:31Z) - Multi-fidelity Gaussian Process for Biomanufacturing Process Modeling
with Small Data [1.4687789417816917]
本稿では, バイオマニュファクチャリングにおけるプロセスモデリングに, 統計的機械学習アプローチ, 多要素ガウスプロセスを用いることを提案する。
生物生産,バイオリアクターのスケールアップ,細胞間知識伝達における2つの重要な課題を解決するために,多要素ガウス法を適用し,実世界のデータセット上での有効性を実証する。
論文 参考訳(メタデータ) (2022-11-26T06:38:34Z) - Extending Process Discovery with Model Complexity Optimization and
Cyclic States Identification: Application to Healthcare Processes [62.997667081978825]
モデル最適化のための半自動支援を実現するプロセスマイニング手法を提案する。
所望の粒度で生モデルを抽象化するモデル単純化手法が提案されている。
医療分野の異なるアプリケーションから得られた3つのデータセットを用いて、技術的ソリューションの能力を実証することを目的としている。
論文 参考訳(メタデータ) (2022-06-10T16:20:59Z) - COVID-Net Biochem: An Explainability-driven Framework to Building
Machine Learning Models for Predicting Survival and Kidney Injury of COVID-19
Patients from Clinical and Biochemistry Data [66.43957431843324]
我々は、機械学習モデルを構築するための汎用的で説明可能なフレームワークであるCOVID-Net Biochemを紹介する。
この枠組みを用いて、新型コロナウイルス患者の生存率と、入院中に急性腎不全を発症する可能性を予測する。
論文 参考訳(メタデータ) (2022-04-24T07:38:37Z) - Opportunities of Hybrid Model-based Reinforcement Learning for Cell
Therapy Manufacturing Process Development and Control [6.580930850408461]
細胞治療製造の主な課題は、高い複雑さ、高い不確実性、非常に限られたプロセスデータである。
本稿では,プロセス開発と制御を効率的にガイドするフレームワーク"hybridRL"を提案する。
実験的検討では, 細胞治療の例を用いて, 提案したハイブリッド-RLフレームワークが, 古典的決定論的力学モデルによるプロセス最適化よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-01-10T00:01:19Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳(メタデータ) (2021-05-17T08:36:18Z) - Policy Optimization in Bayesian Network Hybrid Models of
Biomanufacturing Processes [3.124775036986647]
バイオマニュファクチャリングプロセスは、綿密な監視と制御を必要とする。
低データ環境における人間レベルの制御を実現するためのモデルベース強化学習フレームワークを開発した。
論文 参考訳(メタデータ) (2021-05-13T20:39:02Z) - Towards an Automatic Analysis of CHO-K1 Suspension Growth in
Microfluidic Single-cell Cultivation [63.94623495501023]
我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。
具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
論文 参考訳(メタデータ) (2020-10-20T08:36:51Z) - Neuro-symbolic Neurodegenerative Disease Modeling as Probabilistic
Programmed Deep Kernels [93.58854458951431]
本稿では、神経変性疾患のパーソナライズされた予測モデリングのための、確率的プログラムによる深層カーネル学習手法を提案する。
我々の分析は、ニューラルネットワークとシンボリック機械学習のアプローチのスペクトルを考慮する。
我々は、アルツハイマー病の予測問題について評価を行い、深層学習を超越した結果を得た。
論文 参考訳(メタデータ) (2020-09-16T15:16:03Z) - Green Simulation Assisted Reinforcement Learning with Model Risk for
Biomanufacturing Learning and Control [3.0657293044976894]
バイオ医薬品製造は、複雑さ、高い可変性、長いリードタイム、基礎となるシステムプロセスに関する限られた歴史的データや知識など、重要な課題に直面している。
これらの課題に対処するため,オンライン学習のプロセス支援と動的意思決定の指導を支援するため,グリーンシミュレーションを用いたモデルベース強化学習を提案する。
論文 参考訳(メタデータ) (2020-06-17T14:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。