Fugu-MT 論文翻訳(概要): DKDL-Net: A Lightweight Bearing Fault Detection Model via Decoupled Knowledge Distillation and Low-Rank Adaptation Fine-tuning

論文の概要: DKDL-Net: A Lightweight Bearing Fault Detection Model via Decoupled Knowledge Distillation and Low-Rank Adaptation Fine-tuning

arxiv url: http://arxiv.org/abs/2406.06653v1
Date: Mon, 10 Jun 2024 09:09:08 GMT
ステータス: 処理完了
システム内更新日: 2024-06-12 20:44:57.184366
Title: DKDL-Net: A Lightweight Bearing Fault Detection Model via Decoupled Knowledge Distillation and Low-Rank Adaptation Fine-tuning
Title（参考訳）: DKDL-Net:Decoupled Knowledge Distillation and Low-Rank Adaptation Fine-tuningによる軽量軸受故障検出モデル
Authors: Ovanes Petrosyan, Li Pengyi, He Yulong, Liu Jiarui, Sun Zhaoruikun, Fu Guofeng, Meng Liping,
Abstract要約: 本稿では,これらの課題を解決するための軽量軸受故障診断モデルDKDL-Netを提案する。このモデルは、知識蒸留と低階適応微調整を分離することにより、CWRUデータセットに基づいて訓練される。実験により、DKDL-Netは、モデル性能を維持しながら、テストセットにおける計算複雑性の99.48%の精度を達成することが示された。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Rolling bearing fault detection has developed rapidly in the field of fault diagnosis technology, and it occupies a very important position in this field. Deep learning-based bearing fault diagnosis models have achieved significant success. At the same time, with the continuous improvement of new signal processing technologies such as Fourier transform, wavelet transform and empirical mode decomposition, the fault diagnosis technology of rolling bearings has also been greatly developed, and it can be said that it has entered a new research stage. However, most of the existing methods are limited to varying degrees in the industrial field. The main ones are fast feature extraction and computational complexity. The key to this paper is to propose a lightweight bearing fault diagnosis model DKDL-Net to solve these challenges. The model is trained on the CWRU data set by decoupling knowledge distillation and low rank adaptive fine tuning. Specifically, we built and trained a teacher model based on a 6-layer neural network with 69,626 trainable parameters, and on this basis, using decoupling knowledge distillation (DKD) and Low-Rank adaptive (LoRA) fine-tuning, we trained the student sag model DKDL-Net, which has only 6838 parameters. Experiments show that DKDL-Net achieves 99.48\% accuracy in computational complexity on the test set while maintaining model performance, which is 0.58\% higher than the state-of-the-art (SOTA) model, and our model has lower parameters. Our code is available at Github link: https://github.com/SPBU-LiPengyi/DKDL-Net.git.
Abstract（参考訳）: 転がり軸受の故障検出は, 断層診断技術の分野で急速に発展し, この分野では非常に重要な位置を占めている。深層学習に基づく断層診断モデルは大きな成功を収めた。同時に、フーリエ変換、ウェーブレット変換、実証モード分解といった新しい信号処理技術の継続的な改良により、転がり軸受の故障診断技術も大きく発展し、新たな研究段階に入ったと言える。しかし、既存の手法のほとんどは工業分野の様々な程度に限られている。主なものは、高速な特徴抽出と計算の複雑さである。本稿では,これらの課題を解決するための軽量軸受断層診断モデルDKDL-Netを提案する。このモデルは、知識蒸留と低階適応微調整を分離することにより、CWRUデータセットに基づいて訓練される。具体的には,69,626個のトレーニング可能なパラメータを持つ6層ニューラルネットワークを用いて教師モデルを構築し,このモデルに基づいて,6838個のパラメータしか持たない学生サグモデルDKDL-Netを訓練した。実験の結果、DKDL-Netは、モデル性能を維持しながら、テストセット上での計算複雑性の99.48\%の精度を実現しており、これは最先端(SOTA)モデルよりも0.58\%高い。私たちのコードはGithubの https://github.com/SPBU-LiPengyi/DKDL-Net.git.com リンクで公開されています。

関連論文リスト

TDANet: A Novel Temporal Denoise Convolutional Neural Network With Attention for Fault Diagnosis [0.5277756703318045]
本稿では,音環境における故障診断性能を向上させるため,TDANet(Tunal Denoise Convolutional Neural Network With Attention)を提案する。 TDANetモデルは、その周期特性に基づいて1次元信号を2次元テンソルに変換し、マルチスケールの2次元畳み込みカーネルを用いて周期内および周期間の信号情報を抽出する。 CWRU (single sensor) とReal Aircraft Sensor Fault (multiple sensor) の2つのデータセットに対する評価は、TDANetモデルがノイズの多い環境下での診断精度において既存のディープラーニングアプローチを大幅に上回っていることを示している。
論文参考訳（メタデータ） (2024-03-29T02:54:41Z)
DDxT: Deep Generative Transformer Models for Differential Diagnosis [51.25660111437394]
より単純な教師付き学習信号と自己教師付き学習信号で訓練した生成的アプローチが,現在のベンチマークにおいて優れた結果が得られることを示す。 The proposed Transformer-based generative network, named DDxT, autoregressive produce a set of possible pathology,, i. DDx, and predicts the real pathology using a neural network。
論文参考訳（メタデータ） (2023-12-02T22:57:25Z)
EdgeFD: An Edge-Friendly Drift-Aware Fault Diagnosis System for Industrial IoT [0.0]
我々は,産業用モノのインターネット(IIoT)における頻繁なデータドリフトによる課題を軽減するため,DAWC(Drift-Aware Weight Consolidation)を提案する。 DAWCは複数のデータドリフトシナリオを効率的に管理し、エッジデバイス上での一定のモデル微調整の必要性を最小限にする。包括的診断・可視化プラットフォームも開発しました。
論文参考訳（メタデータ） (2023-10-07T06:48:07Z)
Towards a robust and reliable deep learning approach for detection of compact binary mergers in gravitational wave data [0.0]
我々は、段階的に深層学習モデルを開発し、その堅牢性と信頼性の向上に取り組みます。我々はGAN(Generative Adversarial Network)を含む新しいフレームワークでモデルを再訓練する。絶対ロバスト性は事実上達成できないが、そのような訓練によって得られるいくつかの根本的な改善を実証する。
論文参考訳（メタデータ） (2023-06-20T18:00:05Z)
Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-08T05:44:06Z)
Q-DETR: An Efficient Low-Bit Quantized Detection Transformer [50.00784028552792]
Q-DETRのボトルネックは、我々の経験的分析によるクエリ情報の歪みから生じる。情報ボトルネック(IB)の原理をQ-DETRの学習に一般化することで導出できる2レベル最適化問題としてDRDを定式化する。本研究では,教師情報を蒸留所要の機能に効果的に転送し,条件情報エントロピーを最小化する,フォアグラウンド対応クエリマッチング手法を提案する。
論文参考訳（メタデータ） (2023-04-01T08:05:14Z)
ISimDL: Importance Sampling-Driven Acceleration of Fault Injection Simulations for Evaluating the Robustness of Deep Learning [10.757663798809144]
我々は,重要なサンプリングに基づく障害シナリオを生成するために,ニューロンの感度を利用する新しい手法であるISimDLを提案する。実験の結果, ランダムな一様サンプリングよりも臨界断層を選択する場合, 重要サンプリングは最大15倍の精度で, 100個未満の故障でその精度に達することがわかった。
論文参考訳（メタデータ） (2023-03-14T16:15:28Z)
DTAAD: Dual Tcn-Attention Networks for Anomaly Detection in Multivariate Time Series Data [0.0]
本稿では,Transformer と Dual Temporal Convolutional Network (TCN) に基づく異常検出・診断モデル DTAAD を提案する。予測精度の向上と相関性の向上のために,スケーリング手法とフィードバック機構を導入している。 7つの公開データセットに対する実験により、DTAADは検出および診断性能の両面で現在最先端のベースライン法の大部分を超えていることが確認された。
論文参考訳（メタデータ） (2023-02-17T06:59:45Z)
Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文参考訳（メタデータ） (2022-11-21T03:09:42Z)
Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
論文参考訳（メタデータ） (2022-06-04T19:45:02Z)
Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
論文参考訳（メタデータ） (2020-04-15T06:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。