論文の概要: Neuron Abandoning Attention Flow: Visual Explanation of Dynamics inside CNN Models

• arxiv url: http://arxiv.org/abs/2412.01202v1
• Date: Mon, 02 Dec 2024 07:14:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:51:13.669222
• Title: Neuron Abandoning Attention Flow: Visual Explanation of Dynamics inside CNN Models
• Title（参考訳）: ニューロンのアテンションフロー:CNNモデル内のダイナミクスの視覚的説明
• Authors: Yi Liao, Yongsheng Gao, Weichuan Zhang,
• Abstract要約: バックプロパゲーションアルゴリズムを捨てた新しいカスケードニューロンは、CNNのすべての層でニューロンを追跡するように設計されている。 提案したNAFlowは、一般的な画像分類、コントラスト学習分類、少数ショット画像分類、画像検索の9つのタスクで広く使われているCNNモデルで検証されている。
• 参考スコア（独自算出の注目度）: 22.985326983068582
• License:
• Abstract: In this paper, we present a Neuron Abandoning Attention Flow (NAFlow) method to address the open problem of visually explaining the attention evolution dynamics inside CNNs when making their classification decisions. A novel cascading neuron abandoning back-propagation algorithm is designed to trace neurons in all layers of a CNN that involve in making its prediction to address the problem of significant interference from abandoned neurons. Firstly, a Neuron Abandoning Back-Propagation (NA-BP) module is proposed to generate Back-Propagated Feature Maps (BPFM) by using the inverse function of the intermediate layers of CNN models, on which the neurons not used for decision-making are abandoned. Meanwhile, the cascading NA-BP modules calculate the tensors of importance coefficients which are linearly combined with the tensors of BPFMs to form the NAFlow. Secondly, to be able to visualize attention flow for similarity metric-based CNN models, a new channel contribution weights module is proposed to calculate the importance coefficients via Jacobian Matrix. The effectiveness of the proposed NAFlow is validated on nine widely-used CNN models for various tasks of general image classification, contrastive learning classification, few-shot image classification, and image retrieval.
• Abstract（参考訳）: 本稿では、CNN内の注意進化ダイナミクスを視覚的に説明し、分類決定を行う際のオープンな問題に対処するために、NAFlow(Neuron Abandoning Attention Flow)法を提案する。 バックプロパゲーションを放棄する新しいカスケードニューロンは、放棄されたニューロンからの重大な干渉に対処するための予測を行うCNNの全階層のニューロンを追跡するように設計されている。 まず、CNNモデルの中間層の逆関数を用いて、意思決定に使用しないニューロンを放棄して、バックプロパゲート・フィーチャーマップ(BPFM)を生成するために、NA-BPモジュールを提案する。 一方、NA-BP加群は、BPFMのテンソルと線形に結合してNAFlowを形成する重要な係数のテンソルを算出する。 第二に、類似度計量に基づくCNNモデルに対する注意フローを可視化するために、ヤコビアン行列による重要度係数を計算するために、新しいチャネル寄与重み付けモジュールを提案する。 NAFlowの有効性は,一般的な画像分類,コントラスト学習分類,少数ショット画像分類,画像検索など,9種類のCNNモデルで検証されている。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Spiking neural networks with Hebbian plasticity for unsupervised representation learning [0.0]
  教師なしの手順でデータから分散内部表現を学習するための新しいスパイクニューラルネットワークモデルを提案する。 オンライン相関に基づくHebbian-Bayesian学習と再配線機構を,前述した表現学習をスパイクニューラルネットワークに導入する。 我々は,非スパイクBCPNNに近い性能を示し,MNISTとF-MNISTの機械学習ベンチマークでトレーニングした場合,他のヘビーンのスパイクネットワークと競合することを示す。
  論文  参考訳（メタデータ） (2023-05-05T22:34:54Z)
• PCACE: A Statistical Approach to Ranking Neurons for CNN Interpretability [1.0742675209112622]
  ネットワークのどの畳み込み層にも隠れたニューロンをランク付けするための新しい統計手法を提案する。 街路画像を用いた大気汚染予測への本手法の実際の応用について述べる。
  論文  参考訳（メタデータ） (2021-12-31T17:54:57Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Tensor-based framework for training flexible neural networks [9.176056742068813]
  本稿では,制約付き行列-テンソル因数分解(CMTF)問題を解く学習アルゴリズムを提案する。 提案アルゴリズムは、異なる基底分解を処理できる。 この手法の目的は、テンソルワーク(例えば、元のネットワークの1層または複数の層)を新しいフレキシブル層に置き換えることで、大きな事前訓練されたNNモデルを圧縮することである。
  論文  参考訳（メタデータ） (2021-06-25T10:26:48Z)
• Examining convolutional feature extraction using Maximum Entropy (ME) and Signal-to-Noise Ratio (SNR) for image classification [0.6875312133832078]
  畳み込みニューラルネットワーク(CNN)は、関数マッピングよりも特徴抽出を専門とする。 本稿では,最大エントロピー(ME)と信号対雑音比(SNR)を用いたCNNの特徴抽出機能について検討する。 CNNの分類精度や性能は、入力データに存在する信号情報の量、複雑さ、品質に大きく依存していることを示す。
  論文  参考訳（メタデータ） (2021-05-10T03:58:06Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Spiking Neural Networks -- Part II: Detecting Spatio-Temporal Patterns [38.518936229794214]
  スパイキングニューラルネットワーク(SNN)は、符号化された時間信号で情報を検出するユニークな能力を持つ。 SNNをリカレントニューラルネットワーク(RNN)とみなす支配的アプローチのためのモデルとトレーニングアルゴリズムについてレビューする。 スパイキングニューロンの確率モデルに頼り、勾配推定による局所学習規則の導出を可能にする別のアプローチについて述べる。
  論文  参考訳（メタデータ） (2020-10-27T11:47:42Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。