論文の概要: Using Topological Framework for the Design of Activation Function and
Model Pruning in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2109.01572v1
- Date: Fri, 3 Sep 2021 14:58:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-06 14:03:02.466113
- Title: Using Topological Framework for the Design of Activation Function and
Model Pruning in Deep Neural Networks
- Title（参考訳）: 深部ニューラルネットワークにおけるアクティベーション関数とモデルプルーニングの設計のためのトポロジカルフレームワークの利用
- Authors: Yogesh Kochar, Sunil Kumar Vengalil, Neelam Sinha
- Abstract要約: トレーニング中の各層によって変換されるトレーニングサンプルの空間のトポロジ的変換を解析する。
分類タスクの高速化を目的とした新しいアクティベーション関数を提案する。
その結果, 活性化関数は, 1.5～2の係数でエポックスを小さくする必要が生じた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Success of deep neural networks in diverse tasks across domains of computer
vision, speech recognition and natural language processing, has necessitated
understanding the dynamics of training process and also working of trained
models. Two independent contributions of this paper are 1) Novel activation
function for faster training convergence 2) Systematic pruning of filters of
models trained irrespective of activation function. We analyze the topological
transformation of the space of training samples as it gets transformed by each
successive layer during training, by changing the activation function. The
impact of changing activation function on the convergence during training is
reported for the task of binary classification. A novel activation function
aimed at faster convergence for classification tasks is proposed. Here, Betti
numbers are used to quantify topological complexity of data. Results of
experiments on popular synthetic binary classification datasets with large
Betti numbers(>150) using MLPs are reported. Results show that the proposed
activation function results in faster convergence requiring fewer epochs by a
factor of 1.5 to 2, since Betti numbers reduce faster across layers with the
proposed activation function. The proposed methodology was verified on
benchmark image datasets: fashion MNIST, CIFAR-10 and cat-vs-dog images, using
CNNs. Based on empirical results, we propose a novel method for pruning a
trained model. The trained model was pruned by eliminating filters that
transform data to a topological space with large Betti numbers. All filters
with Betti numbers greater than 300 were removed from each layer without
significant reduction in accuracy. This resulted in faster prediction time and
reduced memory size of the model.
- Abstract（参考訳）: コンピュータビジョン、音声認識、自然言語処理といった分野にまたがる様々なタスクにおけるディープニューラルネットワークの成功は、トレーニングプロセスのダイナミクスや訓練されたモデルの動作を理解する必要に迫られている。
本論文は,(1)より高速なトレーニング収束のための新しいアクティベーション関数,(2)アクティベーション関数に関係なくトレーニングされたモデルのフィルタを体系的にプルーニングする。
トレーニング中の各層によって変換されるトレーニングサンプルの空間のトポロジ的変換を,アクティベーション関数を変化させることで解析する。
二分分類作業において,活性化関数の変化が訓練中の収束に及ぼす影響を報告する。
分類タスクの高速化を目的とした新しいアクティベーション関数を提案する。
ここでは、ベッチ数はデータのトポロジカルな複雑さの定量化に使用される。
mlpを用いた大規模ベッチ数(>150)の一般合成バイナリ分類データセットの実験結果について報告する。
その結果, 活性化関数は1.5～2の係数でエポックスを小さく抑えることができ, ベッチ数は活性化関数を持つ層間で高速に減少することがわかった。
提案手法は,CNNを用いたMNIST, CIFAR-10, cat-vs-dog画像のベンチマーク画像データセットを用いて検証した。
実験結果に基づいて,訓練されたモデルを刈り取る新しい手法を提案する。
訓練されたモデルは、大きなベッチ数を持つ位相空間にデータを変換するフィルタを取り除いた。
ベッチ数300を超える全てのフィルタは、精度を大幅に低下させることなく各層から除去された。
これにより予測時間が短縮され、モデルのメモリサイズが削減された。
関連論文リスト
- A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - ASU-CNN: An Efficient Deep Architecture for Image Classification and
Feature Visualizations [0.0]
活性化関数はディープニューラルネットワークの能力を決定する上で決定的な役割を果たす。
本稿では,ASU-CNNと呼ばれる畳み込みニューラルネットワークモデルを提案する。
ネットワークは、CIFAR-10の分類のためのトレーニングデータとテストデータの両方において有望な結果を得た。
論文 参考訳（メタデータ） (2023-05-28T16:52:25Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳（メタデータ） (2022-12-05T14:47:52Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Implementing a foveal-pit inspired filter in a Spiking Convolutional
Neural Network: a preliminary study [0.0]
我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。
このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。
ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
論文 参考訳（メタデータ） (2021-05-29T15:28:30Z) - ActNN: Reducing Training Memory Footprint via 2-Bit Activation
Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。
ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-04-29T05:50:54Z) - Deep Learning with a Classifier System: Initial Results [0.0]
本稿では,ディープニューラルネットワークを用いた適応計算が可能な学習分類器システムを用いた最初の結果を示す。
最大予測誤差を達成した後、性能を維持しつつ、重みとユニットの数を自動で削減する。
論文 参考訳（メタデータ） (2021-03-01T16:40:12Z) - A Use of Even Activation Functions in Neural Networks [0.35172332086962865]
本稿では,データ構造に関する既存の知識や仮説を統合するために,独自のアクティベーション関数を構築する方法を提案する。
完全に接続されたレイヤの1つで偶発的なアクティベーション関数を使用することで、ニューラルネットワークの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-11-23T20:33:13Z) - Eigen-CAM: Class Activation Map using Principal Components [1.2691047660244335]
この論文は、解釈可能で堅牢で透明なモデルに対する需要の増加に対応するために、従来の考え方に基づいている。
提案したEigen-CAMは、畳み込み層から学習した特徴/表現の基本的なコンポーネントを計算し、視覚化する。
論文 参考訳（メタデータ） (2020-08-01T17:14:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。