論文の概要: Understanding Parameter Saliency via Extreme Value Theory

• arxiv url: http://arxiv.org/abs/2310.17951v2
• Date: Tue, 5 Dec 2023 05:00:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 19:08:27.216712
• Title: Understanding Parameter Saliency via Extreme Value Theory
• Title（参考訳）: 極限値理論によるパラメータサルマンシーの理解
• Authors: Shuo Wang and Issei Sato
• Abstract要約: 畳み込みニューラルネットワーク(CNN)の診断にパラメータ・サリエンシ(パラメータ・サリエンシ)の概念を提案する。 トップランクの有能なフィルタを微調整することで、ImageNetの誤同定を効率よく修正できることが示されている。 しかし、パラメータの正当性ランキングがなぜ誤同定を引き起こすのかを理解するための知識ギャップがまだ残っている。
• 参考スコア（独自算出の注目度）: 44.81687972865167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are being increasingly implemented throughout society in recent years. It is useful to identify which parameters trigger misclassification in diagnosing undesirable model behaviors. The concept of parameter saliency is proposed and used to diagnose convolutional neural networks (CNNs) by ranking convolution filters that may have caused misclassification on the basis of parameter saliency. It is also shown that fine-tuning the top ranking salient filters efficiently corrects misidentification on ImageNet. However, there is still a knowledge gap in terms of understanding why parameter saliency ranking can find the filters inducing misidentification. In this work, we attempt to bridge the gap by analyzing parameter saliency ranking from a statistical viewpoint, namely, extreme value theory. We first show that the existing work implicitly assumes that the gradient norm computed for each filter follows a normal distribution. Then, we clarify the relationship between parameter saliency and the score based on the peaks-over-threshold (POT) method, which is often used to model extreme values. Finally, we reformulate parameter saliency in terms of the POT method, where this reformulation is regarded as statistical anomaly detection and does not require the implicit assumptions of the existing parameter-saliency formulation. Our experimental results demonstrate that our reformulation can detect malicious filters as well. Furthermore, we show that the existing parameter saliency method exhibits a bias against the depth of layers in deep neural networks. In particular, this bias has the potential to inhibit the discovery of filters that cause misidentification in situations where domain shift occurs. In contrast, parameter saliency based on POT shows less of this bias.
• Abstract（参考訳）: 近年,深層ニューラルネットワークが社会全体に普及している。 望ましくないモデル行動の診断において、どのパラメータが誤分類を引き起こすかを特定するのに有用である。 パラメータサリエンシの概念が提案され、パラメータサリエンシに基づいて誤分類を引き起こしたかもしれない畳み込みフィルタのランク付けによって畳み込みニューラルネットワーク(cnns)を診断するために使用される。 また,最上位のsalientフィルタの微調整がimagenetの誤認を効率的に補正することを示した。 しかし、なぜパラメータ塩分ランキングが誤認を誘発するフィルタを見つけられるのかを理解する上では、まだ知識のギャップがある。 本研究では,パラメータの正当性ランキングを統計的視点,すなわち極値理論から分析することにより,このギャップを埋める試みを行う。 まず,各フィルタに対して計算された勾配ノルムが正規分布に従うことを暗黙的に仮定する。 次に,極端値のモデル化によく用いられるピークオーバースレッショルド法(pot法)に基づいて,パラメータ塩分とスコアの関係を明らかにする。 最後に,POT法を用いてパラメータ・サリエンシを再構成し,この改定を統計的異常検出とみなし,既存のパラメータ・サリエンシ定式化の暗黙的な仮定を必要としない。 実験の結果,悪質なフィルタも検出できることが判明した。 さらに,既存のパラメータ塩分法では,ディープニューラルネットワークの層深さに対するバイアスがみられた。 特に、このバイアスは、ドメインシフトが発生した場合に誤同定を引き起こすフィルターの発見を抑制する可能性がある。 対照的に、ポットに基づくパラメータの塩分は、このバイアスをあまり示さない。

関連論文リスト

• Graph Structure Learning with Interpretable Bayesian Neural Networks [10.957528713294874]
  独立に解釈可能なパラメータを持つ新しい反復を導入する。 これらのパラメータは、エッジ空間のような推定グラフの特性に影響を与える。 これらの反復を解いた後、そのようなグラフの特徴に関する事前知識は、事前分布を形作る。 高速な実行とパラメータ効率により、高忠実度後部近似が可能となる。
  論文  参考訳（メタデータ） (2024-06-20T23:27:41Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Diffusion Causal Models for Counterfactual Estimation [18.438307666925425]
  本稿では,観測画像データから因果構造を推定する作業について考察する。 Diff-SCMは,近年の発電エネルギーモデルの発展を基盤とした構造因果モデルである。 Diff-SCMはMNISTデータに基づくベースラインよりも現実的で最小限のデファクトアルを生成しており、ImageNetデータにも適用可能である。
  論文  参考訳（メタデータ） (2022-02-21T12:23:01Z)
• More is Less: Inducing Sparsity via Overparameterization [2.885175627590247]
  ディープラーニングでは、ニューラルネットワークを過度にパラメータ化する、すなわち、トレーニングサンプルよりも多くのパラメータを使用することが一般的である。 驚くほど驚くべきことに、(確率的な)勾配勾配によるニューラルネットワークを一般化すると、それは非常にうまく行く。 我々の証明は、流れのあるブレグマンの発散を分析することに依存している。
  論文  参考訳（メタデータ） (2021-12-21T07:55:55Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• Memorizing without overfitting: Bias, variance, and interpolation in over-parameterized models [0.0]
  バイアス分散トレードオフは教師あり学習における中心的な概念である。 現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
  論文  参考訳（メタデータ） (2020-10-26T22:31:04Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。