論文の概要: Layerwise Knowledge Extraction from Deep Convolutional Networks

• arxiv url: http://arxiv.org/abs/2003.09000v1
• Date: Thu, 19 Mar 2020 19:46:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 03:39:18.442498
• Title: Layerwise Knowledge Extraction from Deep Convolutional Networks
• Title（参考訳）: 深層畳み込みネットワークからの階層的知識抽出
• Authors: Simon Odense and Artur d'Avila Garcez
• Abstract要約: 本稿では,M-of-Nルールを用いた階層的知識抽出手法を提案する。 このアプローチは、最適な複雑性エラートレードオフに近いルールを生成する。 また、畳み込みニューラルネットワークとオートエンコーダのソフトマックス層は、ルール抽出によって非常に説明可能であることも見出した。
• 参考スコア（独自算出の注目度）: 0.9137554315375922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge extraction is used to convert neural networks into symbolic descriptions with the objective of producing more comprehensible learning models. The central challenge is to find an explanation which is more comprehensible than the original model while still representing that model faithfully. The distributed nature of deep networks has led many to believe that the hidden features of a neural network cannot be explained by logical descriptions simple enough to be comprehensible. In this paper, we propose a novel layerwise knowledge extraction method using M-of-N rules which seeks to obtain the best trade-off between the complexity and accuracy of rules describing the hidden features of a deep network. We show empirically that this approach produces rules close to an optimal complexity-error tradeoff. We apply this method to a variety of deep networks and find that in the internal layers we often cannot find rules with a satisfactory complexity and accuracy, suggesting that rule extraction as a general purpose method for explaining the internal logic of a neural network may be impossible. However, we also find that the softmax layer in Convolutional Neural Networks and Autoencoders using either tanh or relu activation functions is highly explainable by rule extraction, with compact rules consisting of as little as 3 units out of 128 often reaching over 99% accuracy. This shows that rule extraction can be a useful component for explaining parts (or modules) of a deep neural network.
• Abstract（参考訳）: 知識抽出は、より理解可能な学習モデルを作成する目的で、ニューラルネットワークを象徴的記述に変換するために使用される。 中心的な課題は、そのモデルを忠実に表現しながら、元のモデルよりも理解しやすい説明を見つけることである。 ディープ・ネットワークの分散の性質は、ニューラルネットワークの隠れた特徴が理解しやすいほど単純な論理的記述によって説明できないと多くの人が信じている。 本稿では,ディープネットワークの隠れた特徴を記述するルールの複雑さと正確さの最良のトレードオフを求めるm-of-nルールを用いた階層的知識抽出手法を提案する。 このアプローチが最適な複雑性エラートレードオフに近いルールを生成することを実証的に示す。 この手法を様々な深層ネットワークに適用し,内部層では複雑で正確性に富む規則を見つけることがしばしば不可能であることを見いだし,ニューラルネットワークの内部論理を説明する汎用的手法としてのルール抽出は不可能である可能性を示唆した。 しかし,畳み込みニューラルネットワークやtanhあるいはreluアクティベーション関数を用いたオートエンコーダのソフトマックス層は規則抽出によって説明可能であり,約128単位中3単位のコンパクトルールは99%以上の精度に達することが多い。 このことは,ディープニューラルネットワークの部分(あるいはモジュール)を説明する上で,ルール抽出が有用であることを示す。

関連論文リスト

• DCNFIS: Deep Convolutional Neuro-Fuzzy Inference System [1.8802008255570541]
  精度を犠牲にすることなく透明性を向上させる新しいディープネットワークの設計について報告する。 本研究では,ファジィ論理とディープラーニングモデルのハイブリッド化により,深層畳み込み型ニューロファジィ推論システム(DCNFIS)を設計する。 我々は,ネットワークに符号化されたファジィルールから,ファジィ論理の透明性を,サリエンシマップの形で導出することで活用する。
  論文  参考訳（メタデータ） (2023-08-11T20:32:39Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• The Principles of Deep Learning Theory [19.33681537640272]
  この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。 これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。 トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:00:00Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
  学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。 その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
  論文  参考訳（メタデータ） (2021-05-11T08:15:25Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Rule Extraction from Binary Neural Networks with Convolutional Rules for Model Validation [16.956140135868733]
  本稿では,畳み込みニューラルネットワーク(CNN)を用いて抽出可能な論理則である一階畳み込み規則について紹介する。 提案手法は,ローカルサーチを用いたバイナリニューラルネットワークからのルール抽出に基づいている。 実験の結果,提案手法はニューラルネットワークの機能をモデル化できると同時に,解釈可能な論理ルールを生成できることがわかった。
  論文  参考訳（メタデータ） (2020-12-15T17:55:53Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• One-vs-Rest Network-based Deep Probability Model for Open Set Recognition [6.85316573653194]
  インテリジェントな自己学習システムは、既知の例と未知の例を区別することができるべきである。 1-vs-restネットワークは、よく使われるSoftMaxレイヤよりも、未知の例に対して、より有益な隠れ表現を提供することができる。 提案した確率モデルは、オープンセットの分類シナリオにおいて最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-04-17T05:24:34Z)
• Approximation smooth and sparse functions by deep neural networks without saturation [0.6396288020763143]
  本稿では,スムーズかつスパースな関数を近似するために,3つの層を隠蔽したディープニューラルネットワークを構築することを目的とする。 構成したディープネットは, 滑らかかつスパースな関数を制御可能な自由パラメータで近似することで, 最適近似率に達することを証明した。
  論文  参考訳（メタデータ） (2020-01-13T09:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。