論文の概要: Exploring the Lottery Ticket Hypothesis with Explainability Methods: Insights into Sparse Network Performance

• arxiv url: http://arxiv.org/abs/2307.13698v1
• Date: Fri, 7 Jul 2023 18:33:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-30 04:07:30.816401
• Title: Exploring the Lottery Ticket Hypothesis with Explainability Methods: Insights into Sparse Network Performance
• Title（参考訳）: 説明可能性法によるロッキーチケット仮説の探索:スパースネットワーク性能の考察
• Authors: Shantanu Ghosh, Kayhan Batmanghelich
• Abstract要約: Lottery Ticket hypothesis (LTH) は、元のモデルに匹敵するあるいは優れた性能を持つディープネットワーク内のネットワークを見つける。 本研究では, 刈り取られたネットワークの性能が徐々に向上するか, 低下するかを検討する。
• 参考スコア（独自算出の注目度）: 13.773050123620592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discovering a high-performing sparse network within a massive neural network is advantageous for deploying them on devices with limited storage, such as mobile phones. Additionally, model explainability is essential to fostering trust in AI. The Lottery Ticket Hypothesis (LTH) finds a network within a deep network with comparable or superior performance to the original model. However, limited study has been conducted on the success or failure of LTH in terms of explainability. In this work, we examine why the performance of the pruned networks gradually increases or decreases. Using Grad-CAM and Post-hoc concept bottleneck models (PCBMs), respectively, we investigate the explainability of pruned networks in terms of pixels and high-level concepts. We perform extensive experiments across vision and medical imaging datasets. As more weights are pruned, the performance of the network degrades. The discovered concepts and pixels from the pruned networks are inconsistent with the original network -- a possible reason for the drop in performance.
• Abstract（参考訳）: 大規模なニューラルネットワーク内で高いパフォーマンスのスパースネットワークを発見することは、携帯電話などの限られたストレージを持つデバイスにそれらをデプロイする上で有利である。 さらに、モデル説明可能性はAIへの信頼を促進する上で不可欠である。 Lottery Ticket hypothesis (LTH)は、元のモデルに匹敵するあるいは優れた性能を持つディープネットワーク内のネットワークを見つける。 しかし、説明可能性の観点からlthの成功や失敗についての研究は限られている。 本研究では, 刈り取られたネットワークの性能が徐々に向上するか, 低下するかを検討する。 grad-cam と post-hoc concept bottleneck models (pcbms) を用いて,pruned network の画素と高レベル概念による説明可能性について検討した。 視覚および医用画像データセットにまたがる広範な実験を行う。 重みが増すにつれて、ネットワークの性能は低下する。 切断されたネットワークから発見された概念とピクセルは、元のネットワークと矛盾している。

関連論文リスト

• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Impact of Disentanglement on Pruning Neural Networks [16.077795265753917]
  変分オートエンコーダ(VAE)ネットワークが生成する乱数表現は,モデル圧縮を実現する上で有望な手法である。 本研究では,Beta-VAEフレームワークと標準的なプルーニング基準を組み合わせることで,ネットワークが絡み合った表現を学習することを強制する影響を調査する。
  論文  参考訳（メタデータ） (2023-07-19T13:58:01Z)
• Network Degeneracy as an Indicator of Training Performance: Comparing Finite and Infinite Width Angle Predictions [3.04585143845864]
  ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。 完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2023-06-02T13:02:52Z)
• The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network [69.54809052377189]
  近年, 深部畳み込みニューラルネットワーク(CNN)の内部情報を活用することにより, モデル一般化の促進を図るために, SAM (Plug-and-play Self-attention Module) が多数提案されている。 a) SAMをすべてのブロックに接続することは、必ずしも最大のパフォーマンス向上をもたらすとは限らないし、部分ブロックに接続する方が、さらによい。 (b) CNNにSAMを追加することは、必ずしもパフォーマンス向上をもたらすものではなく、代わりに元のCNNバックボーンのパフォーマンスに害を与えるかもしれない。
  論文  参考訳（メタデータ） (2022-07-16T07:08:59Z)
• Self-Compression in Bayesian Neural Networks [0.9176056742068814]
  ベイジアンフレームワークによるネットワーク圧縮に関する新たな知見を提案する。 ベイズニューラルネットワークがモデルパラメータの冗長性を自動的に検出し,自己圧縮を可能にすることを示す。 実験の結果,ネットワーク自体が特定したパラメータを削除することで,ネットワークアーキテクチャの圧縮に成功できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T21:19:40Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
  学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。 その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
  論文  参考訳（メタデータ） (2021-05-11T08:15:25Z)
• Prior knowledge distillation based on financial time series [0.8756822885568589]
  我々は,ニューラルネットワークを用いて指標を表現し,より小さなネットワークを特徴層として構築した大規模ネットワークを訓練することを提案する。 数値実験により,本アルゴリズムは実際の財務データセットの従来の手法よりも高速かつ高精度であることが判明した。
  論文  参考訳（メタデータ） (2020-06-16T15:26:06Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection [21.48875255723581]
  ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。 典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
  論文  参考訳（メタデータ） (2019-12-29T14:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。