論文の概要: Remaining Useful Life Prediction: A Study on Multidimensional Industrial Signal Processing and Efficient Transfer Learning Based on Large Language Models
- arxiv url: http://arxiv.org/abs/2410.03134v1
- Date: Fri, 4 Oct 2024 04:21:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-03 03:36:45.943572
- Title: Remaining Useful Life Prediction: A Study on Multidimensional Industrial Signal Processing and Efficient Transfer Learning Based on Large Language Models
- Title(参考訳): 残余寿命予測:大規模言語モデルに基づく多次元産業信号処理と効率的な伝達学習に関する研究
- Authors: Yan Chen, Cheng Liu,
- Abstract要約: 本稿では,大言語モデル(LLM)をRUL予測に用いる革新的な回帰フレームワークを提案する。
ターボファンエンジンのRUL予測タスクの実験では、提案モデルが最先端(SOTA)法を超越していることが示されている。
微調整のための最小限のターゲットドメインデータでは、モデルは完全なターゲットドメインデータに基づいて訓練されたSOTAメソッドよりも優れている。
- 参考スコア(独自算出の注目度): 6.118896920507198
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remaining useful life (RUL) prediction is crucial for maintaining modern industrial systems, where equipment reliability and operational safety are paramount. Traditional methods, based on small-scale deep learning or physical/statistical models, often struggle with complex, multidimensional sensor data and varying operating conditions, limiting their generalization capabilities. To address these challenges, this paper introduces an innovative regression framework utilizing large language models (LLMs) for RUL prediction. By leveraging the modeling power of LLMs pre-trained on corpus data, the proposed model can effectively capture complex temporal dependencies and improve prediction accuracy. Extensive experiments on the Turbofan engine's RUL prediction task show that the proposed model surpasses state-of-the-art (SOTA) methods on the challenging FD002 and FD004 subsets and achieves near-SOTA results on the other subsets. Notably, different from previous research, our framework uses the same sliding window length and all sensor signals for all subsets, demonstrating strong consistency and generalization. Moreover, transfer learning experiments reveal that with minimal target domain data for fine-tuning, the model outperforms SOTA methods trained on full target domain data. This research highlights the significant potential of LLMs in industrial signal processing and RUL prediction, offering a forward-looking solution for health management in future intelligent industrial systems.
- Abstract(参考訳): RUL(Remaining useful Life)予測は、機器の信頼性と運用安全性が最重要である現代産業システムの維持に不可欠である。
従来の手法は、小規模なディープラーニングや物理・統計モデルに基づいており、複雑な多次元センサーデータや様々な操作条件に悩まされ、一般化能力を制限している。
これらの課題に対処するために,大規模言語モデル(LLM)をRUL予測に用いる革新的な回帰フレームワークを提案する。
コーパスデータに事前学習したLLMのモデリング能力を利用することで,複雑な時間依存性を効果的に把握し,予測精度を向上させることができる。
ターボファンエンジンのRUL予測タスクにおける広範囲な実験により、提案モデルは挑戦的なFD002およびFD004サブセットの最先端(SOTA)手法を超越し、他のサブセットのSOTAに近い結果が得られることが示された。
これまでの研究と異なり、我々のフレームワークは全てのサブセットに対して同じスライディングウィンドウ長と全てのセンサ信号を使用し、強い一貫性と一般化を示している。
さらに、転送学習実験により、微調整のための最小限のターゲットドメインデータでは、モデルが完全なターゲットドメインデータに基づいて訓練されたSOTAメソッドより優れていることが明らかになった。
本研究は、産業信号処理とRUL予測におけるLLMの意義を強調し、将来のインテリジェント産業システムにおける健康管理のための先進的なソリューションを提供する。
関連論文リスト
- On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。
我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。
未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
論文 参考訳(メタデータ) (2024-10-08T03:12:57Z) - Structuring a Training Strategy to Robustify Perception Models with Realistic Image Augmentations [1.5723316845301678]
本報告では, モデルロバスト性, 性能を向上させるため, 強化したトレーニング手法を提案する。
機械学習モデルの弱点を特定し、適切な拡張を選択し、効果的なトレーニング戦略を考案する包括的フレームワークを提案する。
実験結果は,オープンソースオブジェクトの検出とセマンティックセグメンテーションモデルとデータセットに対する平均平均精度(mAP)や平均距離(mIoU)といった一般的な測定値によって測定されるモデル性能の改善を示す。
論文 参考訳(メタデータ) (2024-08-30T14:15:48Z) - Unveiling LLM Mechanisms Through Neural ODEs and Control Theory [3.4039202831583903]
本研究では,Large Language Models(LLMs)における入力と出力の複雑な関係を明らかにするために,ニューラル正規微分方程式を用いる。
ニューラルネットワークは、LLM内のデータの継続的な進化を捉えるダイナミックモデルを提供することによって、この研究において重要な役割を担っている。
堅牢な制御メカニズムは、モデルのアウトプットを戦略的に調整するために適用され、高い品質と信頼性を維持するだけでなく、特定のパフォーマンス基準に従うことを保証する。
論文 参考訳(メタデータ) (2024-06-23T22:56:34Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Enabling Smart Retrofitting and Performance Anomaly Detection for a
Sensorized Vessel: A Maritime Industry Experience [0.21485350418225244]
本研究では,解釈可能な機械学習モデルを用いたディープラーニング駆動型異常検出システムを提案する。
我々は,LSTM(Long Short-Term Memory)オートエンコーダを用いた,ループ内非教師なしのプロセスを活用する。
TUCANAから取得した実データを用いて実験によりシステム評価を行い,その過程で得られたLSTMモデルを用いて80%以上の精度と90%のリコールを達成した。
論文 参考訳(メタデータ) (2023-12-30T01:31:54Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Robustness and Generalization Performance of Deep Learning Models on
Cyber-Physical Systems: A Comparative Study [71.84852429039881]
調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。
我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
論文 参考訳(メタデータ) (2023-06-13T12:43:59Z) - Predictive Experience Replay for Continual Visual Control and
Forecasting [62.06183102362871]
視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。
まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。
我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
論文 参考訳(メタデータ) (2023-03-12T05:08:03Z) - Interpretable AI-based Large-scale 3D Pathloss Prediction Model for
enabling Emerging Self-Driving Networks [3.710841042000923]
本稿では,新しい鍵予測器を応用した機械学習モデルを提案する。
予測,一般化,計算性能の観点から各種MLアルゴリズムの性能を定量的に評価することにより,光グラディエントブースティングマシン(LightGBM)アルゴリズムが全体として他のアルゴリズムより優れていることを示す。
論文 参考訳(メタデータ) (2022-01-30T19:50:16Z) - Learning representations with end-to-end models for improved remaining
useful life prognostics [64.80885001058572]
残りの設備の実用寿命(RUL)は、現在の時刻と故障までの期間として定義される。
マルチ層パーセプトロンと長期メモリ層(LSTM)に基づくエンドツーエンドのディープラーニングモデルを提案し、RULを予測する。
提案するエンド・ツー・エンドのモデルがこのような優れた結果を達成し、他のディープラーニングや最先端の手法と比較する方法について論じる。
論文 参考訳(メタデータ) (2021-04-11T16:45:18Z) - Goal-Directed Planning for Habituated Agents by Active Inference Using a
Variational Recurrent Neural Network [5.000272778136268]
本研究では, 予測符号化(PC)とアクティブ推論(AIF)フレームワークが, 低次元潜在状態空間における事前分布を学習することにより, より優れた一般化を実現できることを示す。
提案モデルでは, 最適潜伏変数を推定し, 実験結果の最小化のためのシナプス重みを推定することにより学習を行う。
提案手法は,シミュレーションにおけるロボットタスクと複雑なロボットタスクの両方を用いて評価し,限られた学習データを用いた学習における十分な一般化を実証した。
論文 参考訳(メタデータ) (2020-05-27T06:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。