論文の概要: Interpretable Embedding Procedure Knowledge Transfer via Stacked Principal Component Analysis and Graph Neural Network

• arxiv url: http://arxiv.org/abs/2104.13561v1
• Date: Wed, 28 Apr 2021 03:40:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-29 12:57:46.060925
• Title: Interpretable Embedding Procedure Knowledge Transfer via Stacked Principal Component Analysis and Graph Neural Network
• Title（参考訳）: 重ね合わせ主成分分析とグラフニューラルネットワークによる解釈可能な埋め込み手続き知識伝達
• Authors: Seunghyun Lee, Byung Cheol Song
• Abstract要約: 本稿では,主成分分析に基づくIEP(Interpretable Embedding procedure)知識の生成手法を提案する。 実験の結果,提案手法で学習した学生ネットワークは,cifar100データセットの2.28%を改善した。 また,提案するkdプロセスの可視化により,埋め込み手続き知識を解釈できることを実証する。
• 参考スコア（独自算出の注目度）: 26.55774782646948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) is one of the most useful techniques for light-weight neural networks. Although neural networks have a clear purpose of embedding datasets into the low-dimensional space, the existing knowledge was quite far from this purpose and provided only limited information. We argue that good knowledge should be able to interpret the embedding procedure. This paper proposes a method of generating interpretable embedding procedure (IEP) knowledge based on principal component analysis, and distilling it based on a message passing neural network. Experimental results show that the student network trained by the proposed KD method improves 2.28% in the CIFAR100 dataset, which is higher performance than the state-of-the-art (SOTA) method. We also demonstrate that the embedding procedure knowledge is interpretable via visualization of the proposed KD process. The implemented code is available at https://github.com/sseung0703/IEPKT.
• Abstract（参考訳）: 知識蒸留(KD)は、軽量ニューラルネットワークにおいて最も有用な技術の一つである。 ニューラルネットワークはデータセットを低次元空間に埋め込むという明確な目的を持っているが、既存の知識はこの目的とは程遠いものであり、限られた情報しか提供しなかった。 優れた知識は埋め込み手順を解釈できるべきだと我々は主張する。 本稿では、主成分分析に基づいて解釈可能な埋め込み手順(IEP)の知識を生成し、メッセージパッシングニューラルネットワークに基づいて蒸留する方法を提案する。 実験の結果,提案手法によりトレーニングされた学生ネットワークは,最先端(SOTA)手法よりも高い性能を持つCIFAR100データセットの2.28%を改善した。 また,提案するkdプロセスの可視化により,埋め込み手続き知識を解釈できることを実証する。 実装されたコードはhttps://github.com/sseung0703/IEPKTで入手できる。

関連論文リスト

• Image classification network enhancement methods based on knowledge injection [8.885876832491917]
  本稿では,多段階階層型ディープラーニングアルゴリズムを提案する。 マルチレベルの階層型ディープラーニングアーキテクチャと、マルチレベルの階層型ディープラーニングフレームワークで構成されている。 実験の結果,提案アルゴリズムはニューラルネットワークの隠れた情報を効果的に説明できることがわかった。
  論文  参考訳（メタデータ） (2024-01-09T09:11:41Z)
• Towards Explainable Machine Learning: The Effectiveness of Reservoir Computing in Wireless Receive Processing [21.843365090029987]
  本稿では,Reservoir Computing (RC) と呼ばれる一般的な学習手法を適用し,チャネル等化の具体的課題について検討する。 RCは従来の手法や学習に基づく手法に比べて優れた性能を示した。 また,これをシミュレーションにより最適化することにより,受信処理/シンボル検出性能の向上を示す。
  論文  参考訳（メタデータ） (2023-10-08T00:44:35Z)
• Neuro-Symbolic Learning of Answer Set Programs from Raw Data [54.56905063752427]
  Neuro-Symbolic AIは、シンボリックテクニックの解釈可能性と、生データから学ぶ深層学習の能力を組み合わせることを目的としている。 本稿では,ニューラルネットワークを用いて生データから潜在概念を抽出するNSIL(Neuro-Symbolic Inductive Learner)を提案する。 NSILは表現力のある知識を学習し、計算的に複雑な問題を解き、精度とデータ効率の観点から最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-25T12:41:59Z)
• Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
  本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。 我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。 本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
  論文  参考訳（メタデータ） (2022-05-16T06:49:36Z)
• Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation for Scene Recognition [64.29650787243443]
  本稿では, アクティベーションマップの2次元周波数変換を転送前に提案し, 解析する。 この戦略は、シーン認識などのタスクにおける知識伝達可能性を高める。 我々は、この論文で使われているトレーニングおよび評価フレームワークを、http://www.vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognitionで公開しています。
  論文  参考訳（メタデータ） (2022-05-04T11:05:18Z)
• A Closer Look at Knowledge Distillation with Features, Logits, and Gradients [81.39206923719455]
  知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。 この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。 分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2022-03-18T21:26:55Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Distilling a Deep Neural Network into a Takagi-Sugeno-Kang Fuzzy Inference System [9.82399898215447]
  ディープニューラルネットワーク(DNN)は、分類タスクにおいて大きな成功を収めている。 しかし、それらはブラックボックスとして機能し、特定の分類タスクでどのように決定するかはわかりません。 本稿では,DNNからの知識を,高木崇源王(TSK)型ファジィ推論システム(FIS)に抽出することを提案する。
  論文  参考訳（メタデータ） (2020-10-10T10:58:05Z)
• Residual Knowledge Distillation [96.18815134719975]
  本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。 このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。 提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-21T07:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。