論文の概要: An empirical evaluation of attention-based multi-head models for
improved turbofan engine remaining useful life prediction
- arxiv url: http://arxiv.org/abs/2109.01761v1
- Date: Sat, 4 Sep 2021 01:13:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-08 10:14:22.138023
- Title: An empirical evaluation of attention-based multi-head models for
improved turbofan engine remaining useful life prediction
- Title（参考訳）: 改良型ターボファンエンジンの寿命予測のための注目型マルチヘッドモデルの実証評価
- Authors: Abiodun Ayodeji, Wenhai Wang, Jianzhong Su, Jianquan Yuan, Xinggao Liu
- Abstract要約: シングルユニット(ヘッド)は、多変量時系列信号に基づいて訓練されたディープラーニングアーキテクチャにおける従来の入力特徴抽出器である。
この研究は、従来のシングルヘッド深層学習モデルを、コンテキスト固有のヘッドを開発することにより、より堅牢な形式に拡張する。
- 参考スコア（独自算出の注目度）: 9.282239595143787
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A single unit (head) is the conventional input feature extractor in deep
learning architectures trained on multivariate time series signals. The
importance of the fixed-dimensional vector representation generated by the
single-head network has been demonstrated for industrial machinery condition
monitoring and predictive maintenance. However, processing heterogeneous sensor
signals with a single head may result in a model that cannot explicitly account
for the diversity in time-varying multivariate inputs. This work extends the
conventional single-head deep learning models to a more robust form by
developing context-specific heads to independently capture the inherent pattern
of each sensor reading in multivariate time series signals. Using the turbofan
aircraft engine benchmark dataset (CMAPSS), an extensive experiment is
performed to verify the effectiveness and benefits of multi-head fully
connected neurons, recurrent networks, convolution network, the
transformer-style stand-alone attention network, and their variants for
remaining useful life estimation. Moreover, the effect of different attention
mechanisms on the multi-head models is also evaluated. In addition, each
architecture's relative advantage and computational overhead are analyzed.
Results show that utilizing the attention layer is task-sensitive and
model-dependent, as it does not provide consistent improvement across the
models investigated. The result is further compared with five state-of-the-art
models, and the comparison shows that a relatively simple multi-head
architecture performs better than the state-of-the-art models. The results
presented in this study demonstrate the importance of multi-head models and
attention mechanisms to improved understanding of the remaining useful life of
industrial assets.
- Abstract（参考訳）: シングルユニット(head)は、多変量時系列信号で訓練されたディープラーニングアーキテクチャにおける、従来の入力特徴抽出器である。
単一ヘッドネットワークが生成する固定次元ベクトル表現の重要性は,産業機械の状態監視と予測保守において実証されてきた。
しかし、ヘテロジニアスセンサ信号を1つのヘッドで処理すると、時間変化多変量入力の多様性を明示的に説明できないモデルが得られる。
本研究は、多変量時系列信号における各センサ読み出しの固有パターンを独立に捉えるために、コンテキスト固有のヘッドを開発することにより、従来のシングルヘッドディープラーニングモデルをより堅牢な形式に拡張する。
ターボファン航空機エンジンベンチマークデータセット(CMAPSS)を用いて、マルチヘッド完全連結ニューロン、再帰性ネットワーク、畳み込みネットワーク、トランスフォーマースタイルのスタンドアローンアテンションネットワーク、およびそれらの有用寿命推定のための変種の有効性と利点を検証する。
また,マルチヘッドモデルに対する異なる注意機構の影響も評価した。
さらに、各アーキテクチャの相対的優位性と計算オーバーヘッドを解析する。
その結果,注目層の利用はタスクに敏感であり,モデルに依存していることが明らかとなった。
その結果,5つの最先端モデルと比較し,比較的単純なマルチヘッドアーキテクチャが最先端モデルよりも優れた性能を示した。
本研究は, 産業資産の余寿命の理解を深めるために, マルチヘッドモデルとアテンションメカニズムの重要性を実証するものである。
関連論文リスト
- Improving satellite imagery segmentation using multiple Sentinel-2 revisits [0.0]
我々は、微調整された事前学習されたリモートセンシングモデルのフレームワークにおいて、リビジョンを使用する最善の方法を探る。
モデル潜在空間における複数の再試行からの融合表現は、他の再試行法よりも優れていることが判明した。
SWINトランスフォーマーベースのアーキテクチャは、U-netやViTベースのモデルよりも優れている。
論文 参考訳（メタデータ） (2024-09-25T21:13:33Z) - Exploring Representations and Interventions in Time Series Foundation Models [17.224575072056627]
時系列基礎モデル(TSFM)は、幅広いアプリケーションのための強力なツールであることを約束する。
彼らの内部表現や学習された概念はまだよく理解されていない。
本研究では,様々なTSFMにおける表現の構造と冗長性について検討する。
論文 参考訳（メタデータ） (2024-09-19T17:11:27Z) - UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。
提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文 参考訳（メタデータ） (2024-06-07T14:39:28Z) - Dance of Channel and Sequence: An Efficient Attention-Based Approach for
Multivariate Time Series Forecasting [3.372816393214188]
CSformerは、2段階の自己保持機構を巧みに設計した革新的なフレームワークである。
シーケンスアダプタとチャネルアダプタを導入し、モデルが様々な次元にわたって有能な特徴を識別できるようにする。
論文 参考訳（メタデータ） (2023-12-11T09:10:38Z) - Perceiver-based CDF Modeling for Time Series Forecasting [25.26713741799865]
本稿では,時系列データの累積分布関数(CDF)をモデル化するための新しいアーキテクチャであるPerceiver-CDFを提案する。
提案手法は,マルチモーダル時系列予測に適したコプラに基づくアテンション機構と,知覚アーキテクチャを組み合わせたものである。
単調かつマルチモーダルなベンチマークの実験は、最先端の手法よりも20%改善されていることを一貫して示している。
論文 参考訳（メタデータ） (2023-10-03T01:13:17Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳（メタデータ） (2023-08-20T12:43:52Z) - Comparing Deep Learning Models for the Task of Volatility Prediction
Using Multivariate Data [4.793572485305333]
論文は、より単純で浅いものから、より深くより複雑なアーキテクチャまで、さまざまなモデルを評価する。
5つの資産(S&P500、NASDAQ100、金、銀、石油)のボラティリティの予測は、特にGARCHモデルを用いて対処される。
論文 参考訳（メタデータ） (2023-06-20T17:10:13Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳（メタデータ） (2023-04-04T17:54:32Z) - A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。
Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。
我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文 参考訳（メタデータ） (2022-10-27T13:24:08Z) - Multi-Agent Imitation Learning with Copulas [102.27052968901894]
マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。
本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。
提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
論文 参考訳（メタデータ） (2021-07-10T03:49:41Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。