論文の概要: Quantized and Interpretable Learning Scheme for Deep Neural Networks in Classification Task

• arxiv url: http://arxiv.org/abs/2412.03915v1
• Date: Thu, 05 Dec 2024 06:34:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:41:59.355364
• Title: Quantized and Interpretable Learning Scheme for Deep Neural Networks in Classification Task
• Title（参考訳）: 分類課題におけるディープニューラルネットワークの量子化および解釈可能な学習方式
• Authors: Alireza Maleki, Mahsa Lavaei, Mohsen Bagheritabar, Salar Beigzad, Zahra Abadi,
• Abstract要約: 本稿では,サリエンシ誘導学習と量子化技術を組み合わせて,解釈可能かつ資源効率のよいモデルを構築するアプローチを提案する。 以上の結果から,Saliency-Guided Training と PACT-based Quantization の併用は,分類性能を維持するだけでなく,より効率的かつ解釈可能なモデルを生成することが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Deep learning techniques have proven highly effective in image classification, but their deployment in resourceconstrained environments remains challenging due to high computational demands. Furthermore, their interpretability is of high importance which demands even more available resources. In this work, we introduce an approach that combines saliency-guided training with quantization techniques to create an interpretable and resource-efficient model without compromising accuracy. We utilize Parameterized Clipping Activation (PACT) to perform quantization-aware training, specifically targeting activations and weights to optimize precision while minimizing resource usage. Concurrently, saliency-guided training is employed to enhance interpretability by iteratively masking features with low gradient values, leading to more focused and meaningful saliency maps. This training procedure helps in mitigating noisy gradients and yields models that provide clearer, more interpretable insights into their decision-making processes. To evaluate the impact of our approach, we conduct experiments using famous Convolutional Neural Networks (CNN) architecture on the MNIST and CIFAR-10 benchmark datasets as two popular datasets. We compare the saliency maps generated by standard and quantized models to assess the influence of quantization on both interpretability and classification accuracy. Our results demonstrate that the combined use of saliency-guided training and PACT-based quantization not only maintains classification performance but also produces models that are significantly more efficient and interpretable, making them suitable for deployment in resource-limited settings.
• Abstract（参考訳）: 深層学習技術は画像分類において極めて有効であることが証明されているが、資源制約のある環境への展開は高い計算要求のために依然として困難である。 さらに、それらの解釈可能性は非常に重要であり、より多くの利用可能なリソースを必要とします。 本研究では,サリエンシ誘導学習と量子化技術を組み合わせて,精度を損なうことなく解釈可能かつ資源効率の高いモデルを構築するアプローチを提案する。 我々はパラメータ化クリッピング・アクティベーション(PACT)を用いて量子化対応のトレーニングを行い、特にアクティベーションと重みを目標とし、リソース使用量を最小限に抑えながら精度を最適化する。 同時に、勾配の低い特徴を反復的にマスキングすることで、より焦点を絞った有意義なサリエンシマップによって解釈可能性を高めるために、サリエンシ誘導トレーニングが採用されている。 このトレーニング手順は、ノイズの多い勾配を緩和し、意思決定プロセスに対するより明確で解釈可能な洞察を提供するモデルを得るのに役立ちます。 提案手法の有効性を評価するため,MNISTとCIFAR-10ベンチマークデータセットを2つの一般的なデータセットとして,有名な畳み込みニューラルネットワーク(CNN)アーキテクチャを用いて実験を行った。 標準モデルと量子化モデルで生成したサリエンシマップを比較し、量子化が解釈可能性と分類精度の両方に与える影響を評価する。 以上の結果から,Saliency-Guided Training と PACT-based Quantization の併用による分類性能の維持だけでなく,より効率的かつ解釈可能なモデルも生成し,資源制限設定での展開に適していることが示唆された。

関連論文リスト

• Saliency Assisted Quantization for Neural Networks [0.0]
  本稿では,学習期間中にリアルタイムな説明を提供することにより,深層学習モデルのブラックボックスの性質に対処する。 我々は資源制約に対処するために確立された量子化手法を用いる。 提案手法の有効性を評価するため,量子化が畳み込みニューラルネットワークの解釈可能性や精度に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-11-07T05:16:26Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Neural Networks with Quantization Constraints [111.42313650830248]
  量子化学習における制約付き学習手法を提案する。 結果の問題は強い双対であり、勾配推定は不要であることを示す。 提案手法は画像分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-27T17:12:48Z)
• Standard Deviation-Based Quantization for Deep Neural Networks [17.495852096822894]
  深層ニューラルネットワークの量子化は、推論コストを低減するための有望なアプローチである。 ネットワークの重みと活性化分布の知識を用いて量子化間隔(離散値)を学習する新しいフレームワークを提案する。 提案手法は,ネットワークのパラメータを同時に推定し,量子化過程におけるプルーニング比を柔軟に調整する。
  論文  参考訳（メタデータ） (2022-02-24T23:33:47Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Active Learning in CNNs via Expected Improvement Maximization [2.0305676256390934]
  また,Dropout-based IMprOvementS (DEIMOS) は,能動的学習に対する柔軟で計算効率のよいアプローチである。 以上の結果から,DIMOSは複数の回帰・分類タスクにおいて,既存のベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2020-11-27T22:06:52Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。