論文の概要: Improving Interpretability and Accuracy in Neuro-Symbolic Rule Extraction Using Class-Specific Sparse Filters

• arxiv url: http://arxiv.org/abs/2501.16677v1
• Date: Tue, 28 Jan 2025 03:22:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:42:42.585535
• Title: Improving Interpretability and Accuracy in Neuro-Symbolic Rule Extraction Using Class-Specific Sparse Filters
• Title（参考訳）: クラス別スパースフィルタを用いたニューロ・シンボリックルール抽出における解釈性と精度の向上
• Authors: Parth Padalkar, Jaeseong Lee, Shiyi Wei, Gopal Gupta,
• Abstract要約: CNNトレーニング中にクラス固有のフィルタバイナライズを可能にするスペーサ損失関数を提案する。 我々は新しいベンチマークを設定し、9%の精度向上と53%のルールセットサイズを平均で達成した。 このことは、ブラックボックスCNNの代替として、解釈可能なニューロシンボリックモデルの可能性を強調している。
• 参考スコア（独自算出の注目度）: 5.1690347717311855
• License:
• Abstract: There has been significant focus on creating neuro-symbolic models for interpretable image classification using Convolutional Neural Networks (CNNs). These methods aim to replace the CNN with a neuro-symbolic model consisting of the CNN, which is used as a feature extractor, and an interpretable rule-set extracted from the CNN itself. While these approaches provide interpretability through the extracted rule-set, they often compromise accuracy compared to the original CNN model. In this paper, we identify the root cause of this accuracy loss as the post-training binarization of filter activations to extract the rule-set. To address this, we propose a novel sparsity loss function that enables class-specific filter binarization during CNN training, thus minimizing information loss when extracting the rule-set. We evaluate several training strategies with our novel sparsity loss, analyzing their effectiveness and providing guidance on their appropriate use. Notably, we set a new benchmark, achieving a 9% improvement in accuracy and a 53% reduction in rule-set size on average, compared to the previous SOTA, while coming within 3% of the original CNN's accuracy. This highlights the significant potential of interpretable neuro-symbolic models as viable alternatives to black-box CNNs.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)を用いた解釈可能な画像分類のためのニューロシンボリックモデルの作成に注目が集まっている。 これらの方法は、CNNを特徴抽出器として使用するCNNと、CNN自体から抽出される解釈可能なルールセットからなるニューロシンボリックモデルに置き換えることを目的としている。 これらの手法は、抽出されたルールセットを通して解釈可能性を提供するが、元のCNNモデルと比較して精度を損なうことが多い。 本稿では,この精度損失の根本原因を,フィルタアクティベーションのトレーニング後のバイナライゼーションとして同定し,ルールセットを抽出する。 そこで本研究では,CNNトレーニング中にクラス固有のフィルタバイナライゼーションを実現し,ルールセット抽出時の情報損失を最小限に抑えるスペーサ損失関数を提案する。 我々は,新たな疎度損失を伴ってトレーニング戦略を評価し,その有効性を分析し,適切な使用方法に関するガイダンスを提供する。 特に,従来のSOTAと比較して,9%の精度向上と53%のルールセットサイズ削減を実現した上で,元のCNNの精度の3%以内に到達した。 このことは、ブラックボックスCNNの代替として、解釈可能なニューロシンボリックモデルの可能性を強調している。

関連論文リスト

• On the rates of convergence for learning with convolutional neural networks [9.772773527230134]
  畳み込みニューラルネットワーク(CNN)の1側ゼロパディングと複数のチャネルによる近似と学習能力について検討した。 多くの学習問題におけるCNNに基づく推定器の収束率を導出する。 また、得られた分類率は、いくつかの一般的な設定において極小であることも示している。
  論文  参考訳（メタデータ） (2024-03-25T06:42:02Z)
• Improving the Accuracy and Robustness of CNNs Using a Deep CCA Neural Data Regularizer [2.026424957803652]
  畳み込みニューラルネットワーク(CNN)がオブジェクト認識においてより正確になるにつれて、それらの表現は霊長類の視覚システムとよりよく似ている。 この問題に対処する以前の試みは、正規化法の制限により、精度が極端に向上した。 我々は,CNNのイメージ表現とサル視覚野との類似性を最適化するために,ディープ相関解析(DCCA)を用いた新しいCNN用ニューラルデータ正規化器を開発した。
  論文  参考訳（メタデータ） (2022-09-06T15:40:39Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
  畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。 本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。 最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
  論文  参考訳（メタデータ） (2021-08-16T03:58:00Z)
• Fairness via Representation Neutralization [60.90373932844308]
  フェアネスのための表現中立化(Representation Neutralization for Fairness, RNF)という新たな緩和手法を提案する。 RNFは、DNNモデルのタスク固有の分類ヘッダのみをデバイアスすることで、その公平性を達成する。 複数のベンチマークデータセットに対する実験結果は、DNNモデルの識別を効果的に削減するRNFフレームワークを実証している。
  論文  参考訳（メタデータ） (2021-06-23T22:26:29Z)
• Examining and Mitigating Kernel Saturation in Convolutional Neural Networks using Negative Images [0.8594140167290097]
  CNNにおける畳み込みカーネル飽和の影響を解析する。 トレーニングデータセットに負の画像を追加することで、飽和を緩和し、分類精度を高めるための単純なデータ増強技術を提案する。 以上の結果から,CNNは畳み込みカーネル飽和の影響を受けやすく,トレーニングデータセットに負のイメージを補うことで,分類精度が統計的に顕著に向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-05-10T06:06:49Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• CNNPruner: Pruning Convolutional Neural Networks with Visual Analytics [13.38218193857018]
  畳み込みニューラルネットワーク(CNN)は多くのコンピュータビジョンタスクにおいて極めて優れた性能を示している。 CNNPrunerは、モデルのサイズや精度に関する望ましい目標に応じて、対話的にプルーニングプランを作成することができる。
  論文  参考訳（メタデータ） (2020-09-08T02:08:20Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。