論文の概要: Quantitative Effectiveness Assessment and Role Categorization of
Individual Units in Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2103.09716v1
- Date: Wed, 17 Mar 2021 15:18:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-18 14:50:32.272738
- Title: Quantitative Effectiveness Assessment and Role Categorization of
Individual Units in Convolutional Neural Networks
- Title（参考訳）: 畳み込みニューラルネットワークにおける個人単位の定量的有効性評価と役割分類
- Authors: Yang Zhao and Hao Zhang
- Abstract要約: 画像分類タスクにおけるcnnの単一単位の現状と有用性を定量的に解明する手法を提案する。
本手法の技術的根拠は, 特定のエントロピーの計算に基づく分類における各クラスにおける単位の重要性をランク付けすることである。
すべてのネットワークユニットは、トレーニングとテストデータのパフォーマンスに応じて4つのカテゴリに分類される。
- 参考スコア（独自算出の注目度）: 23.965084518584298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Identifying the roles of individual units is critical for understanding the
mechanism of convolutional neural networks (CNNs). However, it is challenging
to give the fully automatic and quantitative measures for effectiveness
assessment of individual units in CNN. To this end, we propose a novel method
for quantitatively clarifying the status and usefulness of single unit of CNN
in image classification tasks. The technical substance of our method is ranking
the importance of unit for each class in classification based on calculation of
specifically defined entropy using algebraic topological tools. It could be
implemented totally by machine without any human intervention. Some interesting
phenomena including certain kind of phase transition are observed via the
evolution of accuracy and loss of network in the successive ablation process of
units. All of the network units are divided into four categories according to
their performance on training and testing data. The role categorization is
excellent startpoint for network construction and simplification. The diverse
utility and contribution to the network generalization of units in
classification tasks are thoroughly illustrated by extensive experiments on
network (VGG) and dataset (ImageNet) with considerable scale. It is easy for
our method to have extensional applications on other network models and tasks
without essential difficulties.
- Abstract（参考訳）: 個々の単位の役割を特定することは畳み込みニューラルネットワーク(cnns)のメカニズムを理解する上で重要である。
しかし,cnnでは,個別単位の有効性評価のための完全自動的かつ定量的な尺度を提供することが困難である。
そこで本研究では,画像分類タスクにおけるCNNの単一ユニットの状態と有用性を定量的に明らかにする手法を提案する。
本手法は,代数的トポロジツールを用いた具体的に定義されたエントロピーの計算に基づいて,各分類における単位の重要性をランク付けする。
人間の介入なしに完全に機械で実装できる。
ある種の相転移を含む興味深い現象は、連続した単位のアブレーション過程における精度の進化とネットワークの損失によって観察される。
すべてのネットワークユニットは、トレーニングとテストデータのパフォーマンスに応じて4つのカテゴリに分類される。
役割分類は、ネットワーク構築と単純化の出発点として優れたものである。
分類タスクにおけるユニットのネットワーク一般化に対する多種多様なユーティリティと貢献は、ネットワーク(VGG)とデータセット(ImageNet)に関する大規模な実験によって、かなり詳細に説明されている。
本手法は本質的な困難を伴わずに他のネットワークモデルやタスクに拡張型アプリケーションを持つことが容易である。
関連論文リスト
- Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Leveraging advances in machine learning for the robust classification and interpretation of networks [0.0]
シミュレーションアプローチでは、Erd"os-R'enyiやSmall-worldのような適切なネットワーク生成モデルを選択する。
我々は、解釈可能な機械学習の進歩を利用して、様々なネットワーク属性に基づいて、生成モデルによってシミュレーションされたネットワークを分類する。
論文 参考訳（メタデータ） (2024-03-20T00:24:23Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Interpretable part-whole hierarchies and conceptual-semantic
relationships in neural networks [4.153804257347222]
本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。
本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
論文 参考訳（メタデータ） (2022-03-07T10:56:13Z) - Joint Learning of Neural Transfer and Architecture Adaptation for Image
Recognition [77.95361323613147]
現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。
本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。
本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
論文 参考訳（メタデータ） (2021-03-31T08:15:17Z) - Analyzing Representations inside Convolutional Neural Networks [8.803054559188048]
本稿では,ネットワークが学習する概念を,一連の入力例をクラスタリングする方法に基づいて分類するフレームワークを提案する。
このフレームワークは教師なしで、入力機能のためのラベルなしで機能する。
提案手法を広範に評価し,人間の理解しやすさとコヒーレントな概念を創出することを示す。
論文 参考訳（メタデータ） (2020-12-23T07:10:17Z) - Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。
まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。
第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文 参考訳（メタデータ） (2020-09-10T17:59:10Z) - Graph Prototypical Networks for Few-shot Learning on Attributed Networks [72.31180045017835]
グラフメタ学習フレームワーク - Graph Prototypeal Networks (GPN) を提案する。
GPNは、属性付きネットワーク上でテキストミータ学習を行い、ターゲット分類タスクを扱うための高度に一般化可能なモデルを導出する。
論文 参考訳（メタデータ） (2020-06-23T04:13:23Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳（メタデータ） (2020-06-22T12:46:44Z) - Stochastic encoding of graphs in deep learning allows for complex
analysis of gender classification in resting-state and task functional brain
networks from the UK Biobank [0.13706331473063876]
我々は,機能的コネクトームを性別別に分類するために,CNNのアンサンブルに符号化手法を導入する。
課題と休息状態に関わる3つの脳ネットワークとその相互作用の塩分濃度を測定した。
論文 参考訳（メタデータ） (2020-02-25T15:10:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。