論文の概要: A Transformer-based Framework For Multi-variate Time Series: A Remaining
Useful Life Prediction Use Case
- arxiv url: http://arxiv.org/abs/2308.09884v2
- Date: Tue, 29 Aug 2023 21:23:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 16:11:42.261732
- Title: A Transformer-based Framework For Multi-variate Time Series: A Remaining
Useful Life Prediction Use Case
- Title(参考訳): 変圧器を用いた多変量時系列化フレームワーク : 生活予測の残存事例
- Authors: Oluwaseyi Ogunfowora, Homayoun Najjaran
- Abstract要約: 本研究は,時系列予測のためのエンコーダ変換アーキテクチャに基づくフレームワークを提案する。
C-MAPPSベンチマークデータセットの4セットすべてに対して,提案手法の有効性を検証した。
機械寿命の初期段階と劣化経路のモデル認識を可能にするため, 新たな拡張窓手法が提案された。
- 参考スコア(独自算出の注目度): 4.0466311968093365
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In recent times, Large Language Models (LLMs) have captured a global
spotlight and revolutionized the field of Natural Language Processing. One of
the factors attributed to the effectiveness of LLMs is the model architecture
used for training, transformers. Transformer models excel at capturing
contextual features in sequential data since time series data are sequential,
transformer models can be leveraged for more efficient time series data
prediction. The field of prognostics is vital to system health management and
proper maintenance planning. A reliable estimation of the remaining useful life
(RUL) of machines holds the potential for substantial cost savings. This
includes avoiding abrupt machine failures, maximizing equipment usage, and
serving as a decision support system (DSS). This work proposed an
encoder-transformer architecture-based framework for multivariate time series
prediction for a prognostics use case. We validated the effectiveness of the
proposed framework on all four sets of the C-MAPPS benchmark dataset for the
remaining useful life prediction task. To effectively transfer the knowledge
and application of transformers from the natural language domain to time
series, three model-specific experiments were conducted. Also, to enable the
model awareness of the initial stages of the machine life and its degradation
path, a novel expanding window method was proposed for the first time in this
work, it was compared with the sliding window method, and it led to a large
improvement in the performance of the encoder transformer model. Finally, the
performance of the proposed encoder-transformer model was evaluated on the test
dataset and compared with the results from 13 other state-of-the-art (SOTA)
models in the literature and it outperformed them all with an average
performance increase of 137.65% over the next best model across all the
datasets.
- Abstract(参考訳): 近年、大規模言語モデル(llm)が世界的な注目を浴び、自然言語処理の分野に革命をもたらした。
LLMの有効性に起因する要因の1つは、トレーニングやトランスフォーマーに使用されるモデルアーキテクチャである。
トランスフォーマーモデルは、時系列データがシーケンシャルであるため、シーケンシャルデータにおけるコンテキスト特徴のキャプチャに優れており、より効率的な時系列データ予測のためにトランスフォーマーモデルを利用することができる。
予後予測の分野は、システムの健康管理と適切なメンテナンス計画に不可欠である。
マシンの残りの有用寿命(RUL)の信頼性評価は、大幅なコスト削減の可能性を秘めている。
これには、突然の機械故障を避けること、機器の使用を最大化すること、意思決定支援システム(DSS)として機能することが含まれる。
本研究は,多変量時系列予測のためのエンコーダ変換アーキテクチャベースのフレームワークを提案する。
C-MAPPSベンチマークデータセットの4セットすべてに対して提案手法の有効性を検証した。
トランスフォーマの知識と応用を自然言語領域から時系列に効果的に移行するために,モデル固有の3つの実験を行った。
また, 機械寿命の初期および劣化経路のモデル認識を可能にするため, 本研究で初めて拡張ウィンドウ法が提案され, スライドウインドウ法と比較され, エンコーダトランスモデルの性能が大幅に向上した。
最後に、提案したエンコーダ・トランスフォーマーモデルの性能をテストデータセットで評価し、文献中の13の最先端(SOTA)モデルと比較し、すべてのデータセットで次のベストモデルよりも平均137.65%向上した。
関連論文リスト
- Timer: Transformers for Time Series Analysis at Scale [87.9808714449511]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - VST++: Efficient and Stronger Visual Saliency Transformer [81.12457411265932]
我々は,グローバルな長距離依存関係を探索する,効率的で強力なVST++モデルを開発した。
我々は、RGB、RGB-D、RGB-T SODベンチマークデータセット上で、トランスフォーマーベースのバックボーンにまたがってモデルを評価した。
論文 参考訳(メタデータ) (2023-10-18T05:44:49Z) - TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series
Forecasting [26.080207374930055]
本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。
TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
論文 参考訳(メタデータ) (2023-10-08T00:02:25Z) - Never Train from Scratch: Fair Comparison of Long-Sequence Models
Requires Data-Driven Priors [50.09675645981635]
標準的なデノベーション目的による事前トレーニングは、複数のアーキテクチャで劇的に向上することを示す。
先行研究とは対照的に、適切に事前訓練された場合の長距離アリーナでのS4の性能に適合するバニラトランスフォーマーが見つかる。
論文 参考訳(メタデータ) (2023-10-04T17:17:06Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳(メタデータ) (2023-05-26T00:43:02Z) - Stecformer: Spatio-temporal Encoding Cascaded Transformer for
Multivariate Long-term Time Series Forecasting [11.021398675773055]
本稿では,特徴抽出とターゲット予測の観点から,問題の完全な解決法を提案する。
抽出のために,半適応グラフを含む効率的な時間的符号化抽出器を設計し,十分な時間的情報を取得する。
予測のために、異なる間隔間の相関を強化するためにカスケードデ予測器(CDP)を提案する。
論文 参考訳(メタデータ) (2023-05-25T13:00:46Z) - Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
本稿では,Ti-MAEという新しいフレームワークを提案する。
Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。
いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
論文 参考訳(メタデータ) (2023-01-21T03:20:23Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based
Long-Term Time Series Forecasting System [46.39662315849883]
時系列予測(LTSF)は,様々な応用において重要な役割を担っている。
既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。
本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
論文 参考訳(メタデータ) (2022-07-16T04:05:15Z) - ETSformer: Exponential Smoothing Transformers for Time-series
Forecasting [35.76867542099019]
時系列予測のための変換器の改良に指数的スムース化の原理を利用する新しい時系列変換器アーキテクチャであるETSFormerを提案する。
特に,時系列予測における古典的指数的スムージング手法に着想を得て,バニラ変圧器の自己保持機構を置き換えるために,新しい指数的スムージングアテンション(ESA)と周波数アテンション(FA)を提案する。
論文 参考訳(メタデータ) (2022-02-03T02:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。