論文の概要: Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation

• arxiv url: http://arxiv.org/abs/2002.11018v1
• Date: Mon, 24 Feb 2020 13:06:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 02:44:58.298520
• Title: Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation
• Title（参考訳）: 階層関係伝播によるディープニューラルネットワークのより良い説明性向上のためのバッチ正規化
• Authors: Mathilde Guillemot, Catherine Heusele, Rodolphe Korichi, Sylvianne Schnebert, Liming Chen
• Abstract要約: 正規化レイヤと畳み込みレイヤと完全に接続されたレイヤを融合する等価ネットワークを構築します。 MNIST と CIFAR 10 で得られた熱マップは畳み込み層に対してより正確である。
• 参考スコア（独自算出の注目度）: 2.654526698055524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The lack of transparency of neural networks stays a major break for their use. The Layerwise Relevance Propagation technique builds heat-maps representing the relevance of each input in the model s decision. The relevance spreads backward from the last to the first layer of the Deep Neural Network. Layer-wise Relevance Propagation does not manage normalization layers, in this work we suggest a method to include normalization layers. Specifically, we build an equivalent network fusing normalization layers and convolutional or fully connected layers. Heatmaps obtained with our method on MNIST and CIFAR 10 datasets are more accurate for convolutional layers. Our study also prevents from using Layerwise Relevance Propagation with networks including a combination of connected layers and normalization layer.
• Abstract（参考訳）: ニューラルネットワークの透明性の欠如は、その使用にとって大きな障害である。 Layerwise Relevance Propagation技術は、モデル決定における各入力の関連性を表すヒートマップを構築する。 関連性は、Deep Neural Networkの最後の層から第1層まで後方に広がる。 レイヤワイズ・レバレンス・プロパゲーションは正規化レイヤを管理しませんが、この作業では正規化レイヤを含める手法を提案します。 具体的には,正規化層と畳み込み層,あるいは完全連結層を組み合わせた等価ネットワークを構築する。 mnistおよびcifar 10データセットを用いた熱マップは畳み込み層に対してより正確である。 本研究は,連結層と正規化層の組み合わせを含むネットワークとの層間関係の伝播を防止している。

関連論文リスト

• Sensitivity-Based Layer Insertion for Residual and Feedforward Neural Networks [0.3831327965422187]
  ニューラルネットワークのトレーニングには、面倒でしばしば手動でネットワークアーキテクチャをチューニングする必要がある。 トレーニングプロセス中に新しいレイヤを挿入する体系的手法を提案する。
  論文  参考訳（メタデータ） (2023-11-27T16:44:13Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Model Fusion of Heterogeneous Neural Networks via Cross-Layer Alignment [17.735593218773758]
  CLAFusionと呼ばれる新しいモデル融合フレームワークを提案し、異なる層でニューラルネットワークを融合させる。 階層間のアライメントに基づいて、階層モデル融合を適用する前に、ニューラルネットワークの層数のバランスをとる。
  論文  参考訳（メタデータ） (2021-10-29T05:02:23Z)
• Pruning Neural Networks with Interpolative Decompositions [5.377278489623063]
  本稿では,ニューラルネットワークのプルーニングに対する原理的アプローチを導入し,その問題を低ランク行列近似として定式化する。 まず、プリミティブのセットを構築して、1つの完全に接続された畳み込み層をプルークする方法を実証する。 我々は,CIFAR-10上でVGG-16を用いて93.62$pm$0.36%の精度を実現し,FLOPSを51%削減した。
  論文  参考訳（メタデータ） (2021-07-30T20:13:49Z)
• Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
  ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。 勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。 非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
  論文  参考訳（メタデータ） (2021-06-17T13:24:43Z)
• Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
  スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。 本研究では,スキップ接続の有効性におけるスケール要因について検討する。
  論文  参考訳（メタデータ） (2021-05-15T11:44:49Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。