Fugu-MT 論文翻訳(概要): Gradient-Based Interpretability Methods and Binarized Neural Networks

論文の概要: Gradient-Based Interpretability Methods and Binarized Neural Networks

arxiv url: http://arxiv.org/abs/2106.12569v1
Date: Wed, 23 Jun 2021 17:53:18 GMT
ステータス: 処理完了
システム内更新日: 2021-06-24 15:33:29.978408
Title: Gradient-Based Interpretability Methods and Binarized Neural Networks
Title（参考訳）: 勾配に基づく解法と二元化ニューラルネットワーク
Authors: Amy Widdicombe, Simon J. Julier
Abstract要約: バイナリニューラルネットワーク(BNN)は、エッジコンピューティングプラットフォームでディープラーニングが実行される方法に革命をもたらす可能性がある。我々は、広く使われているサリエンシマップに基づく解釈可能性技術の性能を比較した。
参考スコア（独自算出の注目度）: 1.52292571922932
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Binarized Neural Networks (BNNs) have the potential to revolutionize the way that deep learning is carried out in edge computing platforms. However, the effectiveness of interpretability methods on these networks has not been assessed. In this paper, we compare the performance of several widely used saliency map-based interpretabilty techniques (Gradient, SmoothGrad and GradCAM), when applied to Binarized or Full Precision Neural Networks (FPNNs). We found that the basic Gradient method produces very similar-looking maps for both types of network. However, SmoothGrad produces significantly noisier maps for BNNs. GradCAM also produces saliency maps which differ between network types, with some of the BNNs having seemingly nonsensical explanations. We comment on possible reasons for these differences in explanations and present it as an example of why interpretability techniques should be tested on a wider range of network types.
Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は、エッジコンピューティングプラットフォームでディープラーニングが実行される方法に革命をもたらす可能性がある。しかし,これらのネットワークにおける解釈可能性手法の有効性は評価されていない。本稿では,2値化および完全精度ニューラルネットワーク(fpnn)に適用した場合に,多種多様な塩分マップに基づく解釈手法(gradient, smoothgrad, gradcam)の性能を比較する。基礎的なグラディエント法は両タイプのネットワークに対して非常に類似したマップを生成する。しかし、SmoothGradはBNNに対して非常にノイズの多いマップを生成する。 GradCAMはまた、ネットワークタイプによって異なるサリエンシマップも作成しており、BNNのいくつかは意味のない説明をしている。我々は,これらの相違の原因を解説し,より広い範囲のネットワークタイプに対して,解釈可能性手法をテストすべき理由の例として提示する。

関連論文リスト

BetaExplainer: A Probabilistic Method to Explain Graph Neural Networks [1.798554018133928]
グラフニューラルネットワーク(GNN)は、グラフデータに対する推論を行う強力なツールである。多くの解釈可能なGNN法が存在するが、エッジウェイトの不確かさを定量化することはできない。マスクが重要でないエッジに先立って,これらの問題に対処するBetaExplainerを提案する。
論文参考訳（メタデータ） (2024-12-16T16:45:26Z)
GINN-KAN: Interpretability pipelining with applications in Physics Informed Neural Networks [5.2969467015867915]
本稿では,解釈可能性パイプラインの概念を導入し,複数の解釈可能性技術を導入し,各手法の精度を向上する。我々は、標準的なニューラルネットワークアーキテクチャに解釈可能性を導入する可能性のために選択された2つの最近のモデルを評価する。両モデルの利点を合成する新しい解釈可能なニューラルネットワークGINN-KANを提案する。
論文参考訳（メタデータ） (2024-08-27T04:57:53Z)
Learning Interpretable Differentiable Logic Networks [3.8064485653035987]
解釈可能な微分可能論理ネットワーク(DLN)を学習するための新しい手法を提案する。我々はこれらのネットワークを、入力の双対化、二項論理演算、ニューロン間の接続を通じて、個々の成分の軟化と差別化によって訓練する。 20の分類タスクの実験結果は、従来のNNと同等かそれ以上の精度で、微分可能な論理ネットワークが達成可能であることを示している。
論文参考訳（メタデータ） (2024-07-04T21:58:26Z)
CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
論文参考訳（メタデータ） (2024-04-23T08:19:08Z)
SCAAT: Improving Neural Network Interpretability via Saliency Constrained Adaptive Adversarial Training [10.716021768803433]
サリエンシマップは、特徴属性のヒートマップを示す一般的な説明形式である。本研究では,DNNの解釈能力を向上させるために,Saliency Constrained Adversarial Training (SCAAT) と呼ばれるモデルに依存しない学習手法を提案する。
論文参考訳（メタデータ） (2023-11-09T04:48:38Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
Edge-Level Explanations for Graph Neural Networks by Extending Explainability Methods for Convolutional Neural Networks [33.20913249848369]
グラフニューラルネットワーク(GNN)は、グラフデータを入力として扱うディープラーニングモデルであり、トラフィック予測や分子特性予測といった様々なタスクに適用される。本稿では,CNNに対する説明可能性の手法として,LIME(Local Interpretable Model-Agnostic Explanations)やGradient-Based Saliency Maps,Gradient-Weighted Class Activation Mapping(Grad-CAM)をGNNに拡張する。実験結果から,LIMEに基づくアプローチは実環境における複数のタスクに対する最も効率的な説明可能性手法であり,その状態においても優れていたことが示唆された。
論文参考訳（メタデータ） (2021-11-01T06:27:29Z)
Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
論文参考訳（メタデータ） (2021-05-11T08:15:25Z)
S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文参考訳（メタデータ） (2021-02-17T18:59:28Z)
Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文参考訳（メタデータ） (2020-06-15T17:06:17Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。