論文の概要: DeepStreamCE: A Streaming Approach to Concept Evolution Detection in
Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2004.04116v1
- Date: Wed, 8 Apr 2020 16:53:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 08:18:16.306232
- Title: DeepStreamCE: A Streaming Approach to Concept Evolution Detection in
Deep Neural Networks
- Title（参考訳）: deepstreamce:ディープニューラルネットワークにおける概念進化検出のためのストリーミングアプローチ
- Authors: Lorraine Chambers, Mohamed Medhat Gaber, Zahraa S. Abdallah
- Abstract要約: DeepStreamCEは、ディープニューラルネットワークのリアルタイム概念進化検出にストリーミングアプローチを使用している。
我々は、CIFAR-10データセットからのデータの組み合わせに基づいて、VGG16畳み込みニューラルネットワークをトレーニングすることでDeepStreamCEを評価する。
比較のために、データとVGG16ネットワークをオープンセットのディープネットワークソリューションであるOpenMaxに適用する。
- 参考スコア（独自算出の注目度）: 1.933681537640272
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks have experimentally demonstrated superior performance
over other machine learning approaches in decision-making predictions. However,
one major concern is the closed set nature of the classification decision on
the trained classes, which can have serious consequences in safety critical
systems. When the deep neural network is in a streaming environment, fast
interpretation of this classification is required to determine if the
classification result is trusted. Un-trusted classifications can occur when the
input data to the deep neural network changes over time. One type of change
that can occur is concept evolution, where a new class is introduced that the
deep neural network was not trained on. In the majority of deep neural network
architectures, the only option is to assign this instance to one of the classes
it was trained on, which would be incorrect. The aim of this research is to
detect the arrival of a new class in the stream. Existing work on interpreting
deep neural networks often focuses on neuron activations to provide visual
interpretation and feature extraction. Our novel approach, coined DeepStreamCE,
uses streaming approaches for real-time concept evolution detection in deep
neural networks. DeepStreamCE applies neuron activation reduction using an
autoencoder and MCOD stream-based clustering in the offline phase. Both outputs
are used in the online phase to analyse the neuron activations in the evolving
stream in order to detect concept evolution occurrence in real time. We
evaluate DeepStreamCE by training VGG16 convolutional neural networks on
combinations of data from the CIFAR-10 dataset, holding out some classes to be
used as concept evolution. For comparison, we apply the data and VGG16 networks
to an open-set deep network solution - OpenMax. DeepStreamCE outperforms
OpenMax when identifying concept evolution for our datasets.
- Abstract（参考訳）: ディープニューラルネットワークは、意思決定予測における他の機械学習アプローチよりも優れたパフォーマンスを実験的に証明している。
しかし、主要な関心事は、訓練されたクラスにおける分類決定のクローズドな設定性であり、安全クリティカルシステムに重大な影響をもたらす可能性がある。
ディープニューラルネットワークがストリーミング環境にある場合、分類結果が信頼できるかどうかを判断するために、この分類の高速な解釈が必要である。
深いニューラルネットワークへの入力データが時間とともに変化すると、信頼できない分類が発生する。
概念進化(concept evolution)では、ディープニューラルネットワークがトレーニングされていない新しいクラスが導入されている。
ディープニューラルネットワークアーキテクチャの大部分では、このインスタンスをトレーニング対象のクラスに割り当てることが唯一の選択肢だが、これは正しくない。
本研究の目的は,流路内に新しいクラスが到着するのを検出することである。
ディープニューラルネットワークの解釈に関する既存の研究は、しばしば視覚的解釈と特徴抽出を提供するニューロンの活性化に焦点を当てている。
我々の新しいアプローチはdeepstreamceと呼ばれ、ディープニューラルネットワークのリアルタイム概念進化検出にストリーミングアプローチを使用している。
DeepStreamCEは、オフラインフェーズでオートエンコーダとMCODストリームベースのクラスタリングを使用してニューロンの活性化を減少させる。
どちらのアウトプットもオンラインフェーズで、進化ストリームにおけるニューロンの活性化を分析し、概念進化の発生をリアルタイムで検出するために使用される。
我々は、cifar-10データセットのデータの組み合わせに基づいて、vgg16畳み込みニューラルネットワークをトレーニングし、概念進化に使用するクラスをいくつか保持することで、deepstreamceを評価する。
比較のために、データとVGG16ネットワークをオープンセットのディープネットワークソリューションであるOpenMaxに適用する。
DeepStreamCEは、データセットの概念進化を特定するときにOpenMaxより優れています。
関連論文リスト
- Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Diffused Redundancy in Pre-trained Representations [98.55546694886819]
事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。
与えられた層における学習された表現は拡散冗長性を示す。
我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
論文 参考訳（メタデータ） (2023-05-31T21:00:50Z) - How and what to learn:The modes of machine learning [7.085027463060304]
本稿では, 重み経路解析(WPA)と呼ばれる新しい手法を提案し, 多層ニューラルネットワークのメカニズムについて検討する。
WPAは、ニューラルネットワークが情報を「ホログラフィック」な方法で保存し、活用していることを示し、ネットワークはすべてのトレーニングサンプルをコヒーレントな構造にエンコードする。
隠れた層状ニューロンは学習過程の後半で異なるクラスに自己組織化することが判明した。
論文 参考訳（メタデータ） (2022-02-28T14:39:06Z) - Optimal Learning Rates of Deep Convolutional Neural Networks: Additive
Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。
付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文 参考訳（メタデータ） (2022-02-24T14:22:32Z) - Predictive Coding: Towards a Future of Deep Learning beyond
Backpropagation? [41.58529335439799]
ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。
最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。
等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-02-18T22:57:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Locality Guided Neural Networks for Explainable Artificial Intelligence [12.435539489388708]
LGNN(Locality Guided Neural Network)と呼ばれる,バック伝搬のための新しいアルゴリズムを提案する。
LGNNはディープネットワークの各層内の隣接ニューロン間の局所性を保っている。
実験では,CIFAR100 上の画像分類のための様々な VGG と Wide ResNet (WRN) ネットワークを訓練した。
論文 参考訳（メタデータ） (2020-07-12T23:45:51Z) - How Do Neural Networks Estimate Optical Flow? A Neuropsychology-Inspired
Study [0.0]
本稿では,深部ニューラルネットワークが光フローをどのように推定するかを検討する。
本研究では,光フロー推定のためのエンコーダデコーダニューラルネットワークのプロトタイプとして,FlowNetSに着目した。
神経心理学的な研究において,動物の脳に存在する運動フィルターの発見に重要な役割を担ったフィルタ同定法を用いている。
論文 参考訳（メタデータ） (2020-04-20T14:08:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。