論文の概要: A New Knowledge Distillation Network for Incremental Few-Shot Surface
Defect Detection
- arxiv url: http://arxiv.org/abs/2209.00519v1
- Date: Thu, 1 Sep 2022 15:08:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-02 13:19:54.844065
- Title: A New Knowledge Distillation Network for Incremental Few-Shot Surface
Defect Detection
- Title（参考訳）: インクリメンタルFew-Shot表面欠陥検出のための新しい知識蒸留ネットワーク
- Authors: Chen Sun, Liang Gao, Xinyu Li, Yiping Gao
- Abstract要約: 本稿では,DKAN(Dual Knowledge Align Network)と呼ばれる新しい知識蒸留ネットワークを提案する。
提案したDKAN法は,事前学習型ファインタニング伝達学習パラダイムを踏襲し,ファインタニングのための知識蒸留フレームワークを設計した。
Few-shot NEU-DETデータセットをインクリメンタルに実験した結果、DKANは様々なシーンで他の手法よりも優れていることが示された。
- 参考スコア（独自算出の注目度）: 20.712532953953808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Surface defect detection is one of the most essential processes for
industrial quality inspection. Deep learning-based surface defect detection
methods have shown great potential. However, the well-performed models usually
require large training data and can only detect defects that appeared in the
training stage. When facing incremental few-shot data, defect detection models
inevitably suffer from catastrophic forgetting and misclassification problem.
To solve these problems, this paper proposes a new knowledge distillation
network, called Dual Knowledge Align Network (DKAN). The proposed DKAN method
follows a pretraining-finetuning transfer learning paradigm and a knowledge
distillation framework is designed for fine-tuning. Specifically, an
Incremental RCNN is proposed to achieve decoupled stable feature representation
of different categories. Under this framework, a Feature Knowledge Align (FKA)
loss is designed between class-agnostic feature maps to deal with catastrophic
forgetting problems, and a Logit Knowledge Align (LKA) loss is deployed between
logit distributions to tackle misclassification problems. Experiments have been
conducted on the incremental Few-shot NEU-DET dataset and results show that
DKAN outperforms other methods on various few-shot scenes, up to 6.65% on the
mean Average Precision metric, which proves the effectiveness of the proposed
method.
- Abstract（参考訳）: 表面欠陥検出は産業品質検査において最も重要なプロセスの1つである。
深層学習に基づく表面欠陥検出手法は大きな可能性を秘めている。
しかし、性能の良いモデルは、通常、大きなトレーニングデータを必要とし、トレーニング段階で現れる欠陥のみを検出することができる。
インクリメンタルな少数ショットデータに直面すると、欠陥検出モデルは必然的に壊滅的な忘れや誤分類の問題に直面する。
そこで本研究では,DKAN(Dual Knowledge Align Network)と呼ばれる新しい知識蒸留ネットワークを提案する。
提案したDKAN法は,事前学習型ファインタニング伝達学習パラダイムを踏襲し,ファインタニングのための知識蒸留フレームワークを設計した。
具体的には、異なるカテゴリの分離された安定な特徴表現を実現するために、インクリメンタルRCNNを提案する。
本フレームワークでは,クラスに依存しない機能マップ間でのFKA(Feature Knowledge Align)の損失が破滅的な忘れ問題に対処するように設計され,ロジット分布間でLKA(Logit Knowledge Align)の損失が展開され,誤分類問題に対処する。
インクリメンタルなFew-shot NEU-DETデータセットを用いて実験を行った結果、DKANは様々な撮影シーンにおいて、平均精度の6.65%で他の手法よりも優れており、提案手法の有効性が証明されている。
関連論文リスト
- Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。
提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。
DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
論文 参考訳（メタデータ） (2024-10-02T07:14:26Z) - A Reusable AI-Enabled Defect Detection System for Railway Using
Ensembled CNN [5.381374943525773]
欠陥検出は、鉄道システムの信頼性を確保するために不可欠である。
現在のアプローチは、CNNのような単一のディープラーニングモデルに依存している。
再利用可能なAI対応欠陥検出手法を提案する。
論文 参考訳（メタデータ） (2023-11-24T19:45:55Z) - CINFormer: Transformer network with multi-stage CNN feature injection
for surface defect segmentation [73.02218479926469]
表面欠陥分割のための多段CNN特徴注入を用いた変圧器ネットワークを提案する。
CINFormerは、入力画像のマルチレベルCNN機能をエンコーダ内のトランスフォーマーネットワークの異なるステージに注入する、シンプルだが効果的な機能統合機構を提供する。
さらに、CINFormerはTop-Kセルフアテンションモジュールを提供し、欠陥に関するより重要な情報を持つトークンにフォーカスする。
論文 参考訳（メタデータ） (2023-09-22T06:12:02Z) - SEMI-DiffusionInst: A Diffusion Model Based Approach for Semiconductor
Defect Classification and Segmentation [0.11999555634662631]
この研究は拡散モデルを用いて半導体欠陥パターンを正確に検出し、正確にセグメント化する最初の実演である。
提案手法は,mAP全体のこれまでの成果よりも優れており,ほぼすべての欠陥クラスに対して比較的優れた性能を示す。
論文 参考訳（メタデータ） (2023-07-17T17:53:36Z) - SCLIFD:Supervised Contrastive Knowledge Distillation for Incremental
Fault Diagnosis under Limited Fault Data [8.354404360859263]
限られた断層データから識別的特徴を抽出することは困難である。
十分に訓練されたモデルは、新しいクラスからサンプルを分類するために、スクラッチから再訓練されなければならない。
モデル決定は、クラスの不均衡のため、新しいクラスに偏っている。
論文 参考訳（メタデータ） (2023-02-12T14:50:12Z) - Diffusion Denoising Process for Perceptron Bias in Out-of-distribution
Detection [67.49587673594276]
我々は、識別器モデルが入力の特定の特徴に対してより敏感であることを示唆する新しいパーセプトロンバイアスの仮定を導入し、過度な問題を引き起こした。
DMの拡散分解過程 (DDP) が非対称の新たな形態として機能し, 入力を高め, 過信問題を緩和するのに適していることを示す。
CIFAR10, CIFAR100, ImageNetによる実験により, 提案手法がSOTA手法より優れていることが示された。
論文 参考訳（メタデータ） (2022-11-21T08:45:08Z) - TL-SDD: A Transfer Learning-Based Method for Surface Defect Detection
with Few Samples [17.884998028369026]
表面欠陥検出のための新しいトランスファーラーニング法TL-SDDを提案する。
我々は、共通の欠陥クラスから稀な欠陥クラスに知識を移すための2段階のトレーニングスキームを採用する。
基準法と比較すると, 稀な欠陥クラスに対して, 提案手法の性能は1.98%向上した。
論文 参考訳（メタデータ） (2021-08-16T07:24:00Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳（メタデータ） (2021-01-20T11:48:12Z) - NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。
既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。
本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
論文 参考訳（メタデータ） (2020-06-11T17:39:07Z) - Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant
Disease Diagnosis [64.82680813427054]
植物病は食料安全保障と作物生産に対する主要な脅威の1つである。
1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。
本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-17T09:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。