論文の概要: Distilling a Deep Neural Network into a Takagi-Sugeno-Kang Fuzzy Inference System

• arxiv url: http://arxiv.org/abs/2010.04974v1
• Date: Sat, 10 Oct 2020 10:58:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 23:11:41.382896
• Title: Distilling a Deep Neural Network into a Takagi-Sugeno-Kang Fuzzy Inference System
• Title（参考訳）: 高gi-sugeno-kangファジィ推論システムへのディープニューラルネットワークの蒸留
• Authors: Xiangming Gu and Xiang Cheng
• Abstract要約: ディープニューラルネットワーク(DNN)は、分類タスクにおいて大きな成功を収めている。 しかし、それらはブラックボックスとして機能し、特定の分類タスクでどのように決定するかはわかりません。 本稿では,DNNからの知識を,高木崇源王(TSK)型ファジィ推論システム(FIS)に抽出することを提案する。
• 参考スコア（独自算出の注目度）: 9.82399898215447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) demonstrate great success in classification tasks. However, they act as black boxes and we don't know how they make decisions in a particular classification task. To this end, we propose to distill the knowledge from a DNN into a fuzzy inference system (FIS), which is Takagi-Sugeno-Kang (TSK)-type in this paper. The model has the capability to express the knowledge acquired by a DNN based on fuzzy rules, thus explaining a particular decision much easier. Knowledge distillation (KD) is applied to create a TSK-type FIS that generalizes better than one directly from the training data, which is guaranteed through experiments in this paper. To further improve the performances, we modify the baseline method of KD and obtain good results.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、分類タスクにおいて大きな成功を収めている。 しかし、それらはブラックボックスとして機能し、特定の分類タスクでどのように決定するかはわかりません。 そこで本稿では,DNNからの知識を,高木崇源王(TSK)型ファジィ推論システム(FIS)に抽出することを提案する。 このモデルはファジィルールに基づいてDNNが取得した知識を表現できるので、特定の決定をより簡単に説明できる。 知識蒸留 (kd) は, tsk型fisの作成に応用され, トレーニングデータから直接, 一般化され, 実験により保証される。 性能を改善するため,KDのベースライン法を改良し,良好な結果を得た。

関連論文リスト

• BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。 本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-12T08:17:24Z)
• DeepKnowledge: Generalisation-Driven Deep Learning Testing [2.526146573337397]
  DeepKnowledgeは、DNNベースのシステムの体系的なテスト手法である。 堅牢性を高め、'ブラックボックス'モデルの残留リスクを低減することを目的としている。 本報告では, 対人攻撃検出のための最先端のサーベイ基準に対して, 最大10ポイントの改善を報告した。
  論文  参考訳（メタデータ） (2024-03-25T13:46:09Z)
• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• Shared Growth of Graph Neural Networks via Prompted Free-direction Knowledge Distillation [39.35619721100205]
  グラフニューラルネットワーク(GNN)の強化学習による初のフリーダイレクト知識蒸留フレームワークを提案する。 私たちの中核となる考え方は、より浅い2つのGNNを共同で学習し、それら間で知識を交換することです。 5つのベンチマークデータセットの実験では、我々のアプローチはベースGNNよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2023-07-02T10:03:01Z)
• FreeKD: Free-direction Knowledge Distillation for Graph Neural Networks [31.980564414833175]
  良く知られた過度なパラメータ化と過度な平滑化の問題のために、満足いく教師のGNNを訓練することは困難である。 我々は,GNNの強化学習を通じて,FreeKDと呼ばれる最初のフリーダイレクト知識蒸留フレームワークを提案する。 我々のFreeKDは汎用的で原則化されたフレームワークであり、異なるアーキテクチャのGNNと自然に互換性がある。
  論文  参考訳（メタデータ） (2022-06-14T02:24:38Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• KDExplainer: A Task-oriented Attention Model for Explaining Knowledge Distillation [59.061835562314066]
  KDExplainerと呼ばれる新しいタスク指向の注意モデルを導入し、バニラKDの基礎となる作業メカニズムを明らかにします。 また、仮想注意モジュール(VAM)と呼ばれるポータブルツールを導入し、さまざまなディープニューラルネットワーク(DNN)とシームレスに統合し、KDの下でのパフォーマンスを向上させることができます。
  論文  参考訳（メタデータ） (2021-05-10T08:15:26Z)
• Interpretable Embedding Procedure Knowledge Transfer via Stacked Principal Component Analysis and Graph Neural Network [26.55774782646948]
  本稿では,主成分分析に基づくIEP(Interpretable Embedding procedure)知識の生成手法を提案する。 実験の結果,提案手法で学習した学生ネットワークは,cifar100データセットの2.28%を改善した。 また,提案するkdプロセスの可視化により,埋め込み手続き知識を解釈できることを実証する。
  論文  参考訳（メタデータ） (2021-04-28T03:40:37Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• COLAM: Co-Learning of Deep Neural Networks and Soft Labels via Alternating Minimization [60.07531696857743]
  2つの目的の交互最小化によるDNNとソフトラベルの共学習 本稿では,DNNとソフトラベルを相互に学習するCOLAMフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T17:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。