論文の概要: An Interpretable Neuron Embedding for Static Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2211.07647v1
- Date: Mon, 14 Nov 2022 03:26:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 13:22:41.575014
- Title: An Interpretable Neuron Embedding for Static Knowledge Distillation
- Title（参考訳）: 静的知識蒸留のための解釈可能なニューロン埋め込み
- Authors: Wei Han, Yangqiming Wang, Christian B\"ohm, Junming Shao
- Abstract要約: 本稿では,ニューロンを意味空間に埋め込み,解釈可能な新しいニューラルネットワーク手法を提案する。
提案したセマンティックベクトルは、潜伏した知識を静的な知識に外部化する。
可視化の実証実験により、セマンティックベクターはニューロンの活性化セマンティクスをうまく表現していることが示された。
- 参考スコア（独自算出の注目度）: 7.644253344815002
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although deep neural networks have shown well-performance in various tasks,
the poor interpretability of the models is always criticized. In the paper, we
propose a new interpretable neural network method, by embedding neurons into
the semantic space to extract their intrinsic global semantics. In contrast to
previous methods that probe latent knowledge inside the model, the proposed
semantic vector externalizes the latent knowledge to static knowledge, which is
easy to exploit. Specifically, we assume that neurons with similar activation
are of similar semantic information. Afterwards, semantic vectors are optimized
by continuously aligning activation similarity and semantic vector similarity
during the training of the neural network. The visualization of semantic
vectors allows for a qualitative explanation of the neural network. Moreover,
we assess the static knowledge quantitatively by knowledge distillation tasks.
Empirical experiments of visualization show that semantic vectors describe
neuron activation semantics well. Without the sample-by-sample guidance from
the teacher model, static knowledge distillation exhibit comparable or even
superior performance with existing relation-based knowledge distillation
methods.
- Abstract（参考訳）: ディープニューラルネットワークは様々なタスクで優れた性能を示しているが、モデルの解釈の貧弱さは常に批判されている。
本稿では,ニューロンを意味空間に埋め込んで,その内在的グローバルな意味論を抽出する,新しい解釈可能なニューラルネットワーク手法を提案する。
モデル内の潜伏知識を探索する従来の手法とは対照的に,提案したセマンティックベクトルは潜伏知識を静的知識に外部化する。
特に、同様の活性化を持つニューロンは、類似した意味情報のものであると仮定する。
その後、ニューラルネットワークのトレーニング中に、アクティベーション類似性とセマンティクスベクトル類似性を連続的に調整することにより、セマンティクスベクトルを最適化する。
意味ベクトルの可視化により、ニューラルネットワークの質的な説明が可能になる。
さらに,知識蒸留タスクによって静的知識を定量的に評価する。
可視化の実証実験では、意味ベクトルはニューロンの活性化の意味をうまく表現している。
教師モデルからのサンプル・バイ・サンプルの指導がなければ、静的知識蒸留は既存の関係性に基づく知識蒸留法と同等あるいはそれ以上の性能を示す。
関連論文リスト
- On the Value of Labeled Data and Symbolic Methods for Hidden Neuron Activation Analysis [1.55858752644861]
最先端技術は、隠されたノードのアクティベーションが、場合によっては人間にとって意味のある方法で解釈可能であることを示している。
本稿では,本手法が意味のある解釈を提供することを示す,新しいモデル非依存のポストホック説明可能なAI手法を提案する。
論文 参考訳（メタデータ） (2024-04-21T07:57:45Z) - Improving Neural-based Classification with Logical Background Knowledge [0.0]
本稿では,提案する背景知識を用いた教師付きマルチラベル分類のための新しい定式化を提案する。
推論時に意味条件付けと呼ばれる新しいニューロシンボリック手法を導入する。
本稿では、他の2つの一般的なニューロシンボリック技術に対する理論的および実践的優位性について論じる。
論文 参考訳（メタデータ） (2024-02-20T14:01:26Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。
ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
論文 参考訳（メタデータ） (2024-01-11T18:57:17Z) - Understanding CNN Hidden Neuron Activations Using Structured Background
Knowledge and Deductive Reasoning [3.6223658572137825]
最先端技術は、隠されたノードのアクティベーションが、場合によっては人間にとって意味のある方法で解釈可能であることを示している。
畳み込みニューラルネットワークの高密度層において,背景知識から意味のあるラベルを個々のニューロンに自動的にアタッチできることを示す。
論文 参考訳（メタデータ） (2023-08-08T02:28:50Z) - Understanding Activation Patterns in Artificial Neural Networks by
Exploring Stochastic Processes [0.0]
我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。
我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。
各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
論文 参考訳（メタデータ） (2023-08-01T22:12:30Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Drop, Swap, and Generate: A Self-Supervised Approach for Generating
Neural Activity [33.06823702945747]
我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。
このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。
我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
論文 参考訳（メタデータ） (2021-11-03T16:39:43Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Backprop-Free Reinforcement Learning with Active Neural Generative
Coding [84.11376568625353]
動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。
我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。
我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
論文 参考訳（メタデータ） (2021-07-10T19:02:27Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳（メタデータ） (2020-06-24T20:37:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。