論文の概要: Self-Supervised Learning for Data Scarcity in a Fatigue Damage
Prognostic Problem
- arxiv url: http://arxiv.org/abs/2301.08441v1
- Date: Fri, 20 Jan 2023 06:45:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-23 13:37:50.937362
- Title: Self-Supervised Learning for Data Scarcity in a Fatigue Damage
Prognostic Problem
- Title（参考訳）: 疲労損傷予測問題におけるデータ不足に対する自己教師あり学習
- Authors: Anass Akrim, Christian Gogu, Rob Vingerhoeds, Michel Sala\"un
- Abstract要約: 自己監督学習(Self-Supervised Learning)は、教師なし学習アプローチのサブカテゴリである。
本稿では,未ラベルセンサデータを用いた自己学習型DLモデルの有効性について検討する。
その結果, 自己教師付き事前学習モデルでは, 下流RUL予測タスクにおいて, 非事前学習モデルよりも大幅に優れていることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increasing availability of data for Prognostics and Health
Management (PHM), Deep Learning (DL) techniques are now the subject of
considerable attention for this application, often achieving more accurate
Remaining Useful Life (RUL) predictions. However, one of the major challenges
for DL techniques resides in the difficulty of obtaining large amounts of
labelled data on industrial systems. To overcome this lack of labelled data, an
emerging learning technique is considered in our work: Self-Supervised
Learning, a sub-category of unsupervised learning approaches. This paper aims
to investigate whether pre-training DL models in a self-supervised way on
unlabelled sensors data can be useful for RUL estimation with only Few-Shots
Learning, i.e. with scarce labelled data. In this research, a fatigue damage
prognostics problem is addressed, through the estimation of the RUL of aluminum
alloy panels (typical of aerospace structures) subject to fatigue cracks from
strain gauge data. Synthetic datasets composed of strain data are used allowing
to extensively investigate the influence of the dataset size on the predictive
performance. Results show that the self-supervised pre-trained models are able
to significantly outperform the non-pre-trained models in downstream RUL
prediction task, and with less computational expense, showing promising results
in prognostic tasks when only limited labelled data is available.
- Abstract（参考訳）: PHM(Prognostics and Health Management)のデータの利用が増加し、ディープラーニング(DL)技術はこの応用に多大な関心を寄せられ、しばしばより正確なRemaining Useful Life(RUL)予測を達成している。
しかし、DL技術の大きな課題の1つは、産業システム上で大量のラベル付きデータを取得することの難しさにある。
このようなラベル付きデータの欠如を克服するため,新たな学習手法として,教師なし学習アプローチのサブカテゴリであるセルフ・スーパーバイザード・ラーニング(Self-Supervised Learning)が検討されている。
本稿では,ラベル付きデータが少ないFew-Shots Learningのみを用いたRUL推定に,自己学習型DLモデルが有用かどうかを検討することを目的とする。
本研究では, ひずみゲージデータからの疲労き裂を受けるアルミニウム合金パネル(典型的には航空宇宙構造物)のRULを推定し, 疲労損傷診断問題に対処する。
ひずみデータからなる合成データセットを使用して、データセットサイズが予測性能に与える影響を広範囲に調査する。
その結果、自己教師付き事前学習モデルは、下流RUL予測タスクにおいて非事前学習モデルよりも大幅に優れており、計算コストも少なく、限られたラベル付きデータしか利用できない場合に有望な結果を示す。
関連論文リスト
- Releasing Malevolence from Benevolence: The Menace of Benign Data on Machine Unlearning [28.35038726318893]
大量の実データや合成データに基づいてトレーニングされた機械学習モデルは、様々な領域で優れた予測性能を達成する。
プライバシの懸念に対処するため、モデルから特定のデータサンプルを削除するために、機械学習が提案されている。
本研究では,データ配信情報を少量の良質なデータ集合に抽出するために,Unlearning Usability Attackを導入する。
論文 参考訳（メタデータ） (2024-07-06T15:42:28Z) - Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。
我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。
我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
論文 参考訳（メタデータ） (2024-06-18T08:38:59Z) - VIRL: Volume-Informed Representation Learning towards Few-shot Manufacturability Estimation [0.0]
本研究は,3次元幾何エンコーダの事前学習のためのボリュームインフォームド表現学習手法であるVIRLを紹介する。
VIRLによって事前訓練されたモデルでは,データ制限による一般化性の向上が大幅に向上した。
論文 参考訳（メタデータ） (2024-06-18T05:30:26Z) - Probing Language Models for Pre-training Data Detection [11.37731401086372]
本稿では,モデルの内部アクティベーションを調べることで,事前学習データ検出のための探索手法を提案する。
我々の手法はシンプルで効果的であり、より信頼性の高い事前学習データ検出につながる。
論文 参考訳（メタデータ） (2024-06-03T13:58:04Z) - Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。
本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。
低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
論文 参考訳（メタデータ） (2024-05-28T20:43:53Z) - Machine Learning Based Missing Values Imputation in Categorical Datasets [2.5611256859404983]
この研究では、分類データセットのギャップを埋めるための機械学習アルゴリズムの使用について検討した。
Error Correction Output Codesフレームワークを使用して構築されたアンサンブルモデルに重点が置かれた。
大量のラベル付きデータの要求を含む、これらの奨励的な結果にもかかわらず、データ計算の欠如に対する深い学習には障害がある。
論文 参考訳（メタデータ） (2023-06-10T03:29:48Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳（メタデータ） (2023-05-22T17:02:15Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-12-20T19:29:37Z) - Improving the Adversarial Robustness of NLP Models by Information
Bottleneck [112.44039792098579]
非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。
本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。
情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
論文 参考訳（メタデータ） (2022-06-11T12:12:20Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。