論文の概要: SCLIFD:Supervised Contrastive Knowledge Distillation for Incremental Fault Diagnosis under Limited Fault Data

• arxiv url: http://arxiv.org/abs/2302.05929v1
• Date: Sun, 12 Feb 2023 14:50:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 17:49:53.385459
• Title: SCLIFD:Supervised Contrastive Knowledge Distillation for Incremental Fault Diagnosis under Limited Fault Data
• Title（参考訳）: SCLIFD:限られた断層データに基づくインクリメンタル断層診断のための改良された比較知識蒸留法
• Authors: Peng Peng, Hanrong Zhang, Mengxuan Li, Gongzhuang Peng, Hongwei Wang, Weiming Shen
• Abstract要約: 限られた断層データから識別的特徴を抽出することは困難である。 十分に訓練されたモデルは、新しいクラスからサンプルを分類するために、スクラッチから再訓練されなければならない。 モデル決定は、クラスの不均衡のため、新しいクラスに偏っている。
• 参考スコア（独自算出の注目度）: 8.354404360859263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intelligent fault diagnosis has made extraordinary advancements currently. Nonetheless, few works tackle class-incremental learning for fault diagnosis under limited fault data, i.e., imbalanced and long-tailed fault diagnosis, which brings about various notable challenges. Initially, it is difficult to extract discriminative features from limited fault data. Moreover, a well-trained model must be retrained from scratch to classify the samples from new classes, thus causing a high computational burden and time consumption. Furthermore, the model may suffer from catastrophic forgetting when trained incrementally. Finally, the model decision is biased toward the new classes due to the class imbalance. The problems can consequently lead to performance degradation of fault diagnosis models. Accordingly, we introduce a supervised contrastive knowledge distillation for incremental fault diagnosis under limited fault data (SCLIFD) framework to address these issues, which extends the classical incremental classifier and representation learning (iCaRL) framework from three perspectives. Primarily, we adopt supervised contrastive knowledge distillation (KD) to enhance its representation learning capability under limited fault data. Moreover, we propose a novel prioritized exemplar selection method adaptive herding (AdaHerding) to restrict the increase of the computational burden, which is also combined with KD to alleviate catastrophic forgetting. Additionally, we adopt the cosine classifier to mitigate the adverse impact of class imbalance. We conduct extensive experiments on simulated and real-world industrial processes under different imbalance ratios. Experimental results show that our SCLIFD outperforms the existing methods by a large margin.
• Abstract（参考訳）: インテリジェント障害診断は、現在非常に進歩している。 それにもかかわらず、限られた断層データ、すなわち不均衡と長い尾の故障診断の下での断層診断のためのクラスインクリメンタルな学習に取り組む研究はほとんどない。 当初、限定された障害データから識別的特徴を抽出することは困難である。 さらに、十分に訓練されたモデルをスクラッチから再トレーニングし、新しいクラスからサンプルを分類する必要があるため、高い計算負荷と時間消費を引き起こす。 さらに、モデルは漸進的に訓練されたときに破滅的な忘れ込みに悩まされることがある。 最後に、モデル決定はクラスの不均衡のために新しいクラスに偏りがある。 その結果,故障診断モデルの性能低下につながる可能性がある。 そこで本研究では,これらの問題に対処するため,SCLIFDフレームワークに基づくインクリメンタル・フォールト診断のための教師付きコントラスト知識蒸留を導入し,古典的インクリメンタル・クラシファイアと表現学習(iCaRL)フレームワークを3つの観点から拡張した。 主に,kd(supervised contrastive knowledge distillation)を採用し,限定的障害データ下での表現学習能力を高める。 さらに, 計算負荷の増大を抑制するために, また, KDと組み合わせることで, 破滅的な忘れを緩和する, 適応型Hedding (AdaHerding) を優先的に提案する。 さらに,クラス不均衡の悪影響を軽減するために,コサイン分類器を採用する。 異なる不均衡率の下でシミュレーションおよび実世界の産業プロセスに関する広範な実験を行う。 実験結果から, SCLIFDは既存の手法よりも高い性能を示した。

関連論文リスト

• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• SRTFD: Scalable Real-Time Fault Diagnosis through Online Continual Learning [8.016378373626084]
  現代の産業環境は、新しい断層タイプ、動的条件、大規模データを扱うことができ、最小限の事前情報でリアルタイムの応答を提供するFD手法を必要としている。 本稿では,3つの重要な手法を用いて,オンライン連続学習(OCL)を強化するスケーラブルなリアルタイム故障診断フレームワークSRTFDを提案する。 実世界のデータセットと2つの公開シミュレーションデータセットの実験は、SRTFDの有効性と、現代の産業システムにおいて高度でスケーラブルで正確な故障診断を提供する可能性を示している。
  論文  参考訳（メタデータ） (2024-08-11T03:26:22Z)
• Error Detection and Constraint Recovery in Hierarchical Multi-Label Classification without Prior Knowledge [2.0007789979629784]
  本稿では,機械学習モデルの障害モードに関する説明可能なルールを学習可能なEDR(Error Detection Rules)に基づくアプローチを提案する。 提案手法は,機械学習の誤りの検出や制約の回復に有効であり,耐雑音性があり,複数のデータセット上でのニューロシンボリックモデルの知識源として機能することを示す。
  論文  参考訳（メタデータ） (2024-07-21T15:12:19Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Active Foundational Models for Fault Diagnosis of Electrical Motors [0.5999777817331317]
  電気モーターの故障検出と診断は、産業システムの安全かつ信頼性の高い運転を保証する上で最も重要である。 マシン故障診断のための既存のデータ駆動ディープラーニングアプローチは、大量のラベル付きサンプルに大きく依存している。 ラベル付きサンプルを少ない量で活用する基礎モデルに基づくアクティブラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-27T03:25:12Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Causal Disentanglement Hidden Markov Model for Fault Diagnosis [55.90917958154425]
  本研究では, 軸受破壊機構の因果性を学ぶために, 因果解離隠れマルコフモデル (CDHM) を提案する。 具体的には、時系列データをフル活用し、振動信号を断層関連要因と断層関連要因に段階的に分解する。 アプリケーションの範囲を広げるために、学習された非絡み合った表現を他の作業環境に転送するために、教師なしのドメイン適応を採用する。
  論文  参考訳（メタデータ） (2023-08-06T05:58:45Z)
• Semantic Latent Space Regression of Diffusion Autoencoders for Vertebral Fracture Grading [72.45699658852304]
  本稿では,教師なし特徴抽出器として生成拡散オートエンコーダモデルを訓練するための新しい手法を提案する。 フラクチャーグレーディングを連続回帰としてモデル化し, フラクチャーのスムーズな進行を反映した。 重要なことに,本手法の創成特性は,与えられた脊椎の様々な段階を可視化し,自動グルーピングに寄与する特徴を解釈し,洞察することを可能にする。
  論文  参考訳（メタデータ） (2023-03-21T17:16:01Z)
• A New Knowledge Distillation Network for Incremental Few-Shot Surface Defect Detection [20.712532953953808]
  本稿では,DKAN(Dual Knowledge Align Network)と呼ばれる新しい知識蒸留ネットワークを提案する。 提案したDKAN法は,事前学習型ファインタニング伝達学習パラダイムを踏襲し,ファインタニングのための知識蒸留フレームワークを設計した。 Few-shot NEU-DETデータセットをインクリメンタルに実験した結果、DKANは様々なシーンで他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-09-01T15:08:44Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。