論文の概要: Introducing Hybrid Modeling with Time-series-Transformers: A Comparative
Study of Series and Parallel Approach in Batch Crystallization
- arxiv url: http://arxiv.org/abs/2308.05749v1
- Date: Tue, 25 Jul 2023 15:19:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-20 16:46:41.932719
- Title: Introducing Hybrid Modeling with Time-series-Transformers: A Comparative
Study of Series and Parallel Approach in Batch Crystallization
- Title(参考訳): 時系列変換器を用いたハイブリッドモデリングの導入:バッチ結晶化におけるシリーズおよび並列アプローチの比較検討
- Authors: Niranjan Sitapure, and Joseph S Kwon
- Abstract要約: 既存のデジタルツインのほとんどは、ディープニューラルリカレントと畳み込みニューラルネットワーク(DNN、RNN、CNN)を使用して、化学系のダイナミクスを捉えるデータ駆動ブラックボックスモデルに依存している。
近年,マルチヘッドアテンション機構と位置符号化を利用したアテンションベースの時系列変換器(TST)は,高い予測性能を示した。
バッチ結晶化のための第1世代のTSTベースのハイブリッドフレームワークが開発され、従来のブラックボックスモデルと比較して精度と解釈性が向上した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing digital twins rely on data-driven black-box models,
predominantly using deep neural recurrent, and convolutional neural networks
(DNNs, RNNs, and CNNs) to capture the dynamics of chemical systems. However,
these models have not seen the light of day, given the hesitance of directly
deploying a black-box tool in practice due to safety and operational issues. To
tackle this conundrum, hybrid models combining first-principles physics-based
dynamics with machine learning (ML) models have increased in popularity as they
are considered a 'best of both worlds' approach. That said, existing simple DNN
models are not adept at long-term time-series predictions and utilizing
contextual information on the trajectory of the process dynamics. Recently,
attention-based time-series transformers (TSTs) that leverage multi-headed
attention mechanism and positional encoding to capture long-term and short-term
changes in process states have shown high predictive performance. Thus, a
first-of-a-kind, TST-based hybrid framework has been developed for batch
crystallization, demonstrating improved accuracy and interpretability compared
to traditional black-box models. Specifically, two different configurations
(i.e., series and parallel) of TST-based hybrid models are constructed and
compared, which show a normalized-mean-square-error (NMSE) in the range of
$[10, 50]\times10^{-4}$ and an $R^2$ value over 0.99. Given the growing
adoption of digital twins, next-generation attention-based hybrid models are
expected to play a crucial role in shaping the future of chemical
manufacturing.
- Abstract(参考訳): 既存のデジタル双生児のほとんどがデータ駆動のブラックボックスモデルに依存しており、主にディープ・ニューラル・リカレントと畳み込みニューラルネットワーク(dnn、rnn、cnn)を使用して化学系のダイナミクスを捉える。
しかしこれらのモデルは、安全と運用上の問題から、ブラックボックスツールを実際に直接デプロイすることをためらうため、日の目を見ていない。
この問題を解決するために、第一原理物理学に基づくダイナミクスと機械学習(ML)モデルを組み合わせたハイブリッドモデルは、「両方の世界のベスト」なアプローチとして人気が高まっている。
とはいえ、既存の単純なDNNモデルは、時系列予測やプロセスダイナミクスの軌跡に関する文脈情報の利用には適していない。
近年,多面的注意機構と位置符号化を利用してプロセス状態の長期的・短期的な変化を捉えた注目型時系列変換器(TST)は,高い予測性能を示した。
従来のブラックボックスモデルよりも精度と解釈性が向上したバッチ結晶化のための,tstベースの最初のハイブリッドフレームワークが開発されている。
具体的には、TSTベースのハイブリッドモデルの2つの異なる構成(シリーズと並列)を構築し比較し、[10, 50]\times10^{-4}$と0.99以上のR^2$$の範囲で正規化平均二乗誤差(NMSE)を示す。
デジタル双生児の普及を考えると、次世代の注目ベースのハイブリッドモデルは化学製造の未来を形作る上で重要な役割を果たすことが期待される。
関連論文リスト
- Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate
Time Series [59.97020360721152]
パウラ理論に基づいて,最近導入された注目パウラ(TACTiS)の簡易な目的を提案する。
結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文 参考訳(メタデータ) (2023-10-02T16:45:19Z) - Non-autoregressive Conditional Diffusion Models for Time Series
Prediction [3.9722979176564763]
TimeDiffは、高品質な時系列予測を実現する非自己回帰拡散モデルである。
我々はTimeDiffが既存の時系列拡散モデルより一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T08:53:59Z) - Contextually Enhanced ES-dRNN with Dynamic Attention for Short-Term Load
Forecasting [1.1602089225841632]
提案手法は,コンテキストトラックとメイントラックという,同時に訓練された2つのトラックから構成される。
RNNアーキテクチャは、階層的な拡張を積み重ねた複数の繰り返し層で構成され、最近提案された注意的再帰細胞を備えている。
このモデルは点予測と予測間隔の両方を生成する。
論文 参考訳(メタデータ) (2022-12-18T07:42:48Z) - A Comparative Study of Detecting Anomalies in Time Series Data Using
LSTM and TCN Models [2.007262412327553]
本稿では,2つの著名なディープラーニングモデリング手法を比較した。
Recurrent Neural Network (RNN)-based Long Short-Term Memory (LSTM) と Convolutional Neural Network (CNN)-based Temporal Convolutional Networks (TCN) を比較した。
論文 参考訳(メタデータ) (2021-12-17T02:46:55Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Dynamic Gaussian Mixture based Deep Generative Model For Robust
Forecasting on Sparse Multivariate Time Series [43.86737761236125]
本研究では,孤立した特徴表現ではなく,潜在クラスタの遷移を追跡する新しい生成モデルを提案する。
新たに設計された動的ガウス混合分布が特徴であり、クラスタリング構造のダイナミクスを捉えている。
帰納的解析を可能にするために構造化推論ネットワークも設計されている。
論文 参考訳(メタデータ) (2021-03-03T04:10:07Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳(メタデータ) (2020-06-08T09:53:35Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。