論文の概要: Layer-Wise Interpretation of Deep Neural Networks Using Identity Initialization

• arxiv url: http://arxiv.org/abs/2102.13333v1
• Date: Fri, 26 Feb 2021 07:15:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-01 13:49:14.832730
• Title: Layer-Wise Interpretation of Deep Neural Networks Using Identity Initialization
• Title（参考訳）: アイデンティティ初期化を用いたディープニューラルネットワークの層幅解釈
• Authors: Shohei Kubota, Hideaki Hayashi, Tomohiro Hayase, Seiichi Uchida
• Abstract要約: 本稿では, 深い多層パーセプトロンの解釈法を提案する。 提案手法では,各隠れ層における分類と分類可能性に対する各ニューロンの寄与度を解析できる。
• 参考スコア（独自算出の注目度）: 3.708656266586146
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The interpretability of neural networks (NNs) is a challenging but essential topic for transparency in the decision-making process using machine learning. One of the reasons for the lack of interpretability is random weight initialization, where the input is randomly embedded into a different feature space in each layer. In this paper, we propose an interpretation method for a deep multilayer perceptron, which is the most general architecture of NNs, based on identity initialization (namely, initialization using identity matrices). The proposed method allows us to analyze the contribution of each neuron to classification and class likelihood in each hidden layer. As a property of the identity-initialized perceptron, the weight matrices remain near the identity matrices even after learning. This property enables us to treat the change of features from the input to each hidden layer as the contribution to classification. Furthermore, we can separate the output of each hidden layer into a contribution map that depicts the contribution to classification and class likelihood, by adding extra dimensions to each layer according to the number of classes, thereby allowing the calculation of the recognition accuracy in each layer and thus revealing the roles of independent layers, such as feature extraction and classification.
• Abstract（参考訳）: ニューラルネットワーク(NNs)の解釈可能性は、機械学習を用いた意思決定プロセスにおける透明性にとって困難だが不可欠なトピックである。 解釈可能性の欠如の理由の1つは、入力が各層内の異なる特徴空間にランダムに埋め込まれるランダムウェイト初期化である。 本稿では,アイデンティティ初期化(すなわちアイデンティティ行列を用いた初期化)に基づくNNのもっとも一般的なアーキテクチャである深層層パーセプトロンの解釈手法を提案する。 提案手法では,各隠れ層における分類と分類可能性に対する各ニューロンの寄与度を解析できる。 同一性初期化パーセプトロンの性質として、重み行列は学習後も同一性行列の近くに残される。 この特性により、各隠れ層への入力から特徴の変化を分類への寄与として扱うことができる。 さらに,クラス数に応じて各層に余分な次元を付加することにより,各層における認識精度の計算を可能にし,特徴抽出や分類などの独立したレイヤの役割を明らかにすることにより,各隠蔽層の出力を,分類やクラス可能性への寄与を示すコントリビューションマップに分割することができる。

関連論文リスト

• Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination [33.273226655730326]
  深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。 これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
  論文  参考訳（メタデータ） (2023-11-06T09:00:38Z)
• Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
  重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T10:50:33Z)
• Interpreting intermediate convolutional layers in unsupervised acoustic word classification [0.0]
  本稿では、教師なし深層畳み込みニューラルネットワークの中間層を可視化し、解釈する手法を提案する。 GANベースのアーキテクチャ(ciwGAN arXiv:2006.02951)はTIMITの未ラベルのスライスされた語彙で訓練された。
  論文  参考訳（メタデータ） (2021-10-05T21:53:32Z)
• Auto-Parsing Network for Image Captioning and Visual Question Answering [101.77688388554097]
  本稿では,入力データの隠れ木構造を発見し,活用するための自動パーシングネットワーク(APN)を提案する。 具体的には、各自己注意層における注意操作によってパラメータ化された確率的グラフモデル(PGM)を課し、スパース仮定を組み込む。
  論文  参考訳（メタデータ） (2021-08-24T08:14:35Z)
• EigenGAN: Layer-Wise Eigen-Learning for GANs [84.33920839885619]
  EigenGANは、異なる発電機層から解釈可能で制御可能な寸法を無監督にマイニングすることができます。 特定の固有次元の係数をトラバースすることで、ジェネレータは特定の意味属性に対応する連続的な変化を伴うサンプルを生成することができる。
  論文  参考訳（メタデータ） (2021-04-26T11:14:37Z)
• An evidential classifier based on Dempster-Shafer theory and deep learning [6.230751621285322]
  Dempster-Shafer(DS)理論に基づく新しい分類システムと、集合値分類のための畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。 画像認識,信号処理,セマンティック-リレーションシップ分類タスクに関する実験では,深部CNN,DS層,期待されるユーティリティ層の組み合わせにより,分類精度の向上が図られている。
  論文  参考訳（メタデータ） (2021-03-25T01:29:05Z)
• Deep Learning with a Classifier System: Initial Results [0.0]
  本稿では,ディープニューラルネットワークを用いた適応計算が可能な学習分類器システムを用いた最初の結果を示す。 最大予測誤差を達成した後、性能を維持しつつ、重みとユニットの数を自動で削減する。
  論文  参考訳（メタデータ） (2021-03-01T16:40:12Z)
• Provably End-to-end Label-Noise Learning without Anchor Points [118.97592870124937]
  本稿では,アンカーポイントを使わずにラベルノイズ学習を実現するためのエンドツーエンドフレームワークを提案する。 提案フレームワークでは,クリーンなクラス後確率が十分に分散している場合,遷移行列を同定できる。
  論文  参考訳（メタデータ） (2021-02-04T03:59:37Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Hierarchical nucleation in deep neural networks [67.85373725288136]
  我々は,いくつかの最先端DCNにおいて,隠れた層にまたがるImageNetデータセットの確率密度の進化について検討した。 初期層は, 分類に無関係な構造を排除し, 一様確率密度を生成する。 その後の層では、密度ピークは階層的な方法で発生し、概念のセマンティック階層を反映する。
  論文  参考訳（メタデータ） (2020-07-07T14:42:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。