論文の概要: Self-Supervised Learning for Data Scarcity in a Fatigue Damage
Prognostic Problem
- arxiv url: http://arxiv.org/abs/2301.08441v1
- Date: Fri, 20 Jan 2023 06:45:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-23 13:37:50.937362
- Title: Self-Supervised Learning for Data Scarcity in a Fatigue Damage
Prognostic Problem
- Title(参考訳): 疲労損傷予測問題におけるデータ不足に対する自己教師あり学習
- Authors: Anass Akrim, Christian Gogu, Rob Vingerhoeds, Michel Sala\"un
- Abstract要約: 自己監督学習(Self-Supervised Learning)は、教師なし学習アプローチのサブカテゴリである。
本稿では,未ラベルセンサデータを用いた自己学習型DLモデルの有効性について検討する。
その結果, 自己教師付き事前学習モデルでは, 下流RUL予測タスクにおいて, 非事前学習モデルよりも大幅に優れていることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increasing availability of data for Prognostics and Health
Management (PHM), Deep Learning (DL) techniques are now the subject of
considerable attention for this application, often achieving more accurate
Remaining Useful Life (RUL) predictions. However, one of the major challenges
for DL techniques resides in the difficulty of obtaining large amounts of
labelled data on industrial systems. To overcome this lack of labelled data, an
emerging learning technique is considered in our work: Self-Supervised
Learning, a sub-category of unsupervised learning approaches. This paper aims
to investigate whether pre-training DL models in a self-supervised way on
unlabelled sensors data can be useful for RUL estimation with only Few-Shots
Learning, i.e. with scarce labelled data. In this research, a fatigue damage
prognostics problem is addressed, through the estimation of the RUL of aluminum
alloy panels (typical of aerospace structures) subject to fatigue cracks from
strain gauge data. Synthetic datasets composed of strain data are used allowing
to extensively investigate the influence of the dataset size on the predictive
performance. Results show that the self-supervised pre-trained models are able
to significantly outperform the non-pre-trained models in downstream RUL
prediction task, and with less computational expense, showing promising results
in prognostic tasks when only limited labelled data is available.
- Abstract(参考訳): PHM(Prognostics and Health Management)のデータの利用が増加し、ディープラーニング(DL)技術はこの応用に多大な関心を寄せられ、しばしばより正確なRemaining Useful Life(RUL)予測を達成している。
しかし、DL技術の大きな課題の1つは、産業システム上で大量のラベル付きデータを取得することの難しさにある。
このようなラベル付きデータの欠如を克服するため,新たな学習手法として,教師なし学習アプローチのサブカテゴリであるセルフ・スーパーバイザード・ラーニング(Self-Supervised Learning)が検討されている。
本稿では,ラベル付きデータが少ないFew-Shots Learningのみを用いたRUL推定に,自己学習型DLモデルが有用かどうかを検討することを目的とする。
本研究では, ひずみゲージデータからの疲労き裂を受けるアルミニウム合金パネル(典型的には航空宇宙構造物)のRULを推定し, 疲労損傷診断問題に対処する。
ひずみデータからなる合成データセットを使用して、データセットサイズが予測性能に与える影響を広範囲に調査する。
その結果、自己教師付き事前学習モデルは、下流RUL予測タスクにおいて非事前学習モデルよりも大幅に優れており、計算コストも少なく、限られたラベル付きデータしか利用できない場合に有望な結果を示す。
関連論文リスト
- On the Out-Of-Distribution Robustness of Self-Supervised Representation
Learning for Phonocardiogram Signals [6.112582193985082]
信号の一般化表現を学習して心電図(PCG)サンプルの異常を検出するためのコントラスト自己監視学習(SSL)を提案する。
実験により, トレーニング分布によっては, 完全に教師されたモデルの有効性が32%まで低下することを示した。
論文 参考訳(メタデータ) (2023-12-01T11:06:00Z) - Refining the ONCE Benchmark with Hyperparameter Tuning [45.55545585587993]
本研究は、ポイントクラウドデータに対する半教師付き学習アプローチの評価に焦点を当てる。
データアノテーションは、LiDARアプリケーションのコンテキストにおいて最も重要である。
従来の半教師付き手法による改善は,従来考えられていたほど深くない可能性が示唆された。
論文 参考訳(メタデータ) (2023-11-10T13:39:07Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳(メタデータ) (2023-05-22T17:02:15Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-12-20T19:29:37Z) - Measuring Causal Effects of Data Statistics on Language Model's
`Factual' Predictions [59.284907093349425]
大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。
トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。
我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
論文 参考訳(メタデータ) (2022-07-28T17:36:24Z) - Improving the Adversarial Robustness of NLP Models by Information
Bottleneck [112.44039792098579]
非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。
本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。
情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
論文 参考訳(メタデータ) (2022-06-11T12:12:20Z) - Boosting Facial Expression Recognition by A Semi-Supervised Progressive
Teacher [54.50747989860957]
本稿では,信頼度の高いFERデータセットと大規模未ラベル表現画像を有効訓練に用いるための半教師付き学習アルゴリズム,Progressive Teacher (PT)を提案する。
RAF-DB と FERPlus を用いた実験により,RAF-DB で89.57% の精度で最先端の性能を実現する手法の有効性が検証された。
論文 参考訳(メタデータ) (2022-05-28T07:47:53Z) - Uncertainty-Aware Deep Co-training for Semi-supervised Medical Image
Segmentation [4.935055133266873]
本研究では,モデルが意図的に領域を学習するための新しい不確実性認識方式を提案する。
具体的には,不確実性マップを得るためにモンテカルロサンプリングを推定法として利用する。
後ろ向きのプロセスでは、ネットワークの収束を加速するために、教師なしの損失と教師なしの損失を共同で処理する。
論文 参考訳(メタデータ) (2021-11-23T03:26:24Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。