論文の概要: Operational Adaptation of DNN Classifiers using Elastic Weight
Consolidation
- arxiv url: http://arxiv.org/abs/2205.00147v1
- Date: Sat, 30 Apr 2022 03:46:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-03 15:35:00.834550
- Title: Operational Adaptation of DNN Classifiers using Elastic Weight
Consolidation
- Title（参考訳）: 弾性重み強化を用いたDNN分類器の動作適応
- Authors: Abanoub Ghobrial, Xuan Zheng, Darryl Hond, Hamid Asgari, Kerstin Eder
- Abstract要約: 本稿では,DNN(Deep Neural Network)分類器がその知識を応用して,ASの運用環境で新しい情報を学ぶことができるかどうかを検討する。
これにより、ASは新しい遭遇した情報に適応し、ASが正しい分類を行う際の信頼性を高めることができる。
我々は,この問題を,限られた新しい観測結果から学習しながら,弾性重み統合(EWC)を用いて制御できるかどうかを検討する。
- 参考スコア（独自算出の注目度）: 1.4174475093445233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous systems (AS) often use Deep Neural Network (DNN) classifiers to
allow them to operate in complex, high dimensional, non-linear, and dynamically
changing environments. Due to the complexity of these environments, DNN
classifiers may output misclassifications due to experiencing new tasks in
their operational environments, which were not identified during development.
Removing a system from operation and retraining it to include the new
identified task becomes economically infeasible as the number of such
autonomous systems increase. Additionally, such misclassifications may cause
financial losses and safety threats to the AS or to other operators in its
environment. In this paper, we propose to reduce such threats by investigating
if DNN classifiers can adapt its knowledge to learn new information in the AS's
operational environment, using only a limited number of observations
encountered sequentially during operation. This allows the AS to adapt to new
encountered information and hence increases the AS's reliability on doing
correct classifications. However, retraining DNNs on different observations
than used in prior training is known to cause catastrophic forgetting or
significant model drift. We investigate if this problem can be controlled by
using Elastic Weight Consolidation (EWC) whilst learning from limited new
observations. We carry out experiments using original and noisy versions of the
MNIST dataset to represent known and new information to DNN classifiers.
Results show that using EWC does make the process of adaptation to new
information a lot more controlled, and thus allowing for reliable adaption of
ASs to new information in their operational environment.
- Abstract（参考訳）: 自律システム(AS)は、しばしばディープニューラルネットワーク(DNN)分類器を使用して、複雑な、高次元、非線形、動的に変化する環境で動作できるようにする。
これらの環境の複雑さのため、dnn分類器は、開発中に特定されなかった運用環境で新しいタスクを経験することによる誤分類を出力できる。
システムを運用から取り除き、新しい特定タスクを含むように再訓練することは、そのような自律的なシステムの数が増えるにつれて経済的に実現不可能になる。
さらに、このような誤分類は、ASやその環境における他の運用者に対する経済的損失や安全上の脅威を引き起こす可能性がある。
本稿では,dnn分類器がasの運用環境での新たな情報学習に知識を応用できるかどうかを,運用中に順次遭遇する限られた数の観測結果のみを用いて検証し,脅威を軽減することを提案する。
これにより、ASは新しい遭遇した情報に適応し、ASが正しい分類を行う際の信頼性を高めることができる。
しかし、以前の訓練で使用した異なる観察上のDNNの再訓練は、破滅的な忘れまたは重要なモデルドリフトを引き起こすことが知られている。
我々は,この問題を,限られた新しい観測結果から学習しながら,弾性重み統合(EWC)を用いて制御できるかどうかを検討する。
我々は、mnistデータセットのオリジナルおよびノイズバージョンを用いて、dnn分類器に既知のおよび新しい情報を表現するための実験を行う。
その結果,ewc を利用することにより,新たな情報への適応プロセスがより制御され,運用環境における新たな情報への ass の信頼性の高い適応が可能となった。
関連論文リスト
- Evaluating the Robustness of Deep-Learning Algorithm-Selection Models by Evolving Adversarial Instances [0.16874375111244325]
ディープ畳み込みネットワーク(DNN)は、ニューラルネットワークドメインにおけるアルゴリズム選択の実行にますます利用されている。
逆のサンプルは、データセットによって元のインスタンスの最大56%から生成される。
進化的アルゴリズム(EA)を用いて、2つの既存のベンチマークからオンラインビンパッキングのためのインスタンスの摂動を見つけ、トレーニングされたDRNを誤分類させます。
論文 参考訳（メタデータ） (2024-06-24T12:48:44Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - Adaptive Growth: Real-time CNN Layer Expansion [0.0]
本研究では,データ入力に基づいて,畳み込みニューラルネットワーク(CNN)の畳み込み層を動的に進化させるアルゴリズムを提案する。
厳密なアーキテクチャの代わりに、我々のアプローチはカーネルを畳み込み層に反復的に導入し、様々なデータに対してリアルタイムに応答する。
興味深いことに、我々の教師なしの手法は、さまざまなデータセットにまたがって教師なしの手法を上回った。
論文 参考訳（メタデータ） (2023-09-06T14:43:58Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Continual BatchNorm Adaptation (CBNA) for Semantic Segmentation [39.99513327031499]
自動運転車の環境認識はディープニューラルネットワーク(DNN)に大きく依存することが多い
本研究では,ソースフリーなUDAアプローチを,セマンティックセグメンテーションの単一画像ベースで連続的かつオンライン可能なUDAに拡張する。
本手法は, バッチ正規化層におけるソース領域の統計量を, 教師なしの手法で変更し, 推論中に一貫した性能向上をもたらす。
論文 参考訳（メタデータ） (2022-03-02T12:55:10Z) - TELESTO: A Graph Neural Network Model for Anomaly Classification in
Cloud Services [77.454688257702]
機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。
1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。
与えられたデータの次元変化に不変な手法を提案する。
論文 参考訳（メタデータ） (2021-02-25T14:24:49Z) - Style Normalization and Restitution for DomainGeneralization and
Adaptation [88.86865069583149]
効果的なドメイン一般化モデルは、一般化および判別可能な特徴表現を学習することが期待される。
本稿では,ネットワークの高一般化と識別能力を確保するために,新しいスタイル正規化・再構成モジュール(SNR)を設計する。
論文 参考訳（メタデータ） (2021-01-03T09:01:39Z) - DeepRepair: Style-Guided Repairing for DNNs in the Real-world
Operational Environment [27.316150020006916]
本稿では,Deep Neural Networks (DNN) を運用環境で修復するためのスタイル誘導型データ拡張手法を提案する。
本稿では,故障データ中の未知の故障パターンをデータ拡張によるトレーニングデータに学習し,導入するためのスタイル転送手法を提案する。
論文 参考訳（メタデータ） (2020-11-19T15:09:44Z) - SRDCNN: Strongly Regularized Deep Convolution Neural Network
Architecture for Time-series Sensor Signal Classification Tasks [4.950427992960756]
SRDCNN: 時系列分類タスクを実行するために, SRDCNN(Strongly Regularized Deep Convolution Neural Network)をベースとしたディープアーキテクチャを提案する。
提案手法の新規性は、ネットワークウェイトが L1 と L2 のノルム法則によって正則化されることである。
論文 参考訳（メタデータ） (2020-07-14T08:42:39Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-04-20T10:09:27Z) - Unsupervised Domain Adaptation in Person re-ID via k-Reciprocal
Clustering and Large-Scale Heterogeneous Environment Synthesis [76.46004354572956]
個人再識別のための教師なし領域適応手法を提案する。
実験結果から,ktCUDA法とSHRED法は,再同定性能において,+5.7 mAPの平均的改善を実現することがわかった。
論文 参考訳（メタデータ） (2020-01-14T17:43:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。