論文の概要: Knowledge Distillation of Convolutional Neural Networks through Feature Map Transformation using Decision Trees

• arxiv url: http://arxiv.org/abs/2403.06089v1
• Date: Sun, 10 Mar 2024 04:20:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 08:53:54.369405
• Title: Knowledge Distillation of Convolutional Neural Networks through Feature Map Transformation using Decision Trees
• Title（参考訳）: 決定木を用いた特徴写像変換による畳み込みニューラルネットワークの知識蒸留
• Authors: Maddimsetti Srinivas and Debdoot Sheet
• Abstract要約: 畳み込みニューラルネットワーク(CNN)の最終層から特徴を抽出する蒸留手法を提案する。 抽出した特徴は、深さとノードの制約の下で最良の精度を達成するために決定木を訓練するために使用される。 その結果,決定木を用いたCNNによる意思決定の解釈が促進された。
• 参考スコア（独自算出の注目度）: 2.06682776181122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The interpretation of reasoning by Deep Neural Networks (DNN) is still challenging due to their perceived black-box nature. Therefore, deploying DNNs in several real-world tasks is restricted by the lack of transparency of these models. We propose a distillation approach by extracting features from the final layer of the convolutional neural network (CNN) to address insights to its reasoning. The feature maps in the final layer of a CNN are transformed into a one-dimensional feature vector using a fully connected layer. Subsequently, the extracted features are used to train a decision tree to achieve the best accuracy under constraints of depth and nodes. We use the medical images of dermaMNIST, octMNIST, and pneumoniaMNIST from the medical MNIST datasets to demonstrate our proposed work. We observed that performance of the decision tree is as good as a CNN with minimum complexity. The results encourage interpreting decisions made by the CNNs using decision trees.
• Abstract（参考訳）: Deep Neural Networks (DNN)による推論の解釈は、ブラックボックスの性質が認識されているため、いまだに困難である。 したがって、DNNの実際のタスクへのデプロイは、これらのモデルの透明性の欠如によって制限される。 本稿では,畳み込みニューラルネットワーク(cnn)の最終層から特徴を抽出し,その推論への洞察に対処する蒸留手法を提案する。 cnnの最終層における特徴写像は、完全連結層を用いて1次元特徴ベクトルに変換される。 その後、抽出した特徴を用いて決定木をトレーニングし、深さとノードの制約の下で最高の精度を達成する。 我々は,本研究の成果を示すために,医療用MNISTデータセットのDermaMNIST,octMNIST,および肺炎MNISTの医用画像を用いた。 決定木の性能は、最小限の複雑さを持つCNNと同等であることがわかった。 その結果,決定木を用いたCNNによる意思決定の解釈が促進された。

関連論文リスト

• CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
  蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
  論文  参考訳（メタデータ） (2024-04-23T08:19:08Z)
• Deeply Explain CNN via Hierarchical Decomposition [75.01251659472584]
  コンピュータビジョンにおいて、CNNの説明に寄与するいくつかの手法は、中間的特徴がネットワーク予測にどのように影響するかを研究する。 本稿では,CNNの意思決定過程をトップダウンで説明する階層的な分解フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-23T07:56:04Z)
• Visual Explanations for Convolutional Neural Networks via Latent Traversal of Generative Adversarial Networks [17.475341881835355]
  本稿では、GAN(Generative Adversarial Networks)を利用して、畳み込みニューラルネットワーク(CNN)が学んだことを解釈する手法を提案する。 我々のGANフレームワークは、新型コロナウイルスの特徴から肺の構造を切り離す。このGANを用いて、GANの潜伏した空間で補間することにより、胸部X線写真中の一対の陰性肺からCOVID陽性肺への移行を可視化することができる。
  論文  参考訳（メタデータ） (2021-10-29T23:26:09Z)
• Convolutional Neural Networks Demystified: A Matched Filtering Perspective Based Tutorial [7.826806223782053]
  畳み込みニューラルネットワーク(CNN)は、大量の信号や画像を分析するためのデファクト標準である。 我々は、最初の原則と一致するフィルタリングの観点から、それらの操作を再考する。 このチュートリアルが、深層ニューラルネットワークの理解とさらなる発展に新たな光と物理的直感をもたらすことを願っています。
  論文  参考訳（メタデータ） (2021-08-26T09:07:49Z)
• Topological Measurement of Deep Neural Networks Using Persistent Homology [0.7919213739992464]
  ディープニューラルネットワーク(DNN)の内部表現は解読不能である。 持続的ホモロジー(PH)は、訓練されたDNNの複雑さを調べるために用いられた。
  論文  参考訳（メタデータ） (2021-06-06T03:06:15Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Simplifying the explanation of deep neural networks with sufficient and necessary feature-sets: case of text classification [0.0]
  ディープニューラルネットワーク(DNN)は、医学、ファイナンス、法律など、さまざまな領域で幅広い問題を解決する素晴らしいパフォーマンスを実証している。 彼らの優れたパフォーマンスにもかかわらず、彼らは長い間ブラックボックスシステムと見なされ、それらを説明することができない良い結果をもたらしてきた。 本稿では,1次元(1次元)畳み込みニューラルネットワーク(CNN)の予測説明を,十分かつ必要な特徴セットを同定して単純化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-08T02:01:21Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• Hold me tight! Influence of discriminative features on deep network boundaries [63.627760598441796]
  本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
  論文  参考訳（メタデータ） (2020-02-15T09:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。