論文の概要: Training Interpretable Convolutional Neural Networks by Differentiating
Class-specific Filters
- arxiv url: http://arxiv.org/abs/2007.08194v3
- Date: Thu, 1 Jul 2021 10:40:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 22:33:06.157089
- Title: Training Interpretable Convolutional Neural Networks by Differentiating
Class-specific Filters
- Title（参考訳）: クラス固有フィルタの微分による解釈可能な畳み込みニューラルネットワークの訓練
- Authors: Haoyu Liang, Zhihao Ouyang, Yuyuan Zeng, Hang Su, Zihao He, Shu-Tao
Xia, Jun Zhu, Bo Zhang
- Abstract要約: 畳み込みニューラルネットワーク(CNN)は、様々なタスクでうまく使われている。
CNNは、しばしば「ブラックボックス」と解釈可能性の欠如とみなされる。
本稿では,クラス固有のフィルタを奨励することで,解釈可能なCNNを訓練する新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 64.46270549587004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional neural networks (CNNs) have been successfully used in a range
of tasks. However, CNNs are often viewed as "black-box" and lack of
interpretability. One main reason is due to the filter-class entanglement -- an
intricate many-to-many correspondence between filters and classes. Most
existing works attempt post-hoc interpretation on a pre-trained model, while
neglecting to reduce the entanglement underlying the model. In contrast, we
focus on alleviating filter-class entanglement during training. Inspired by
cellular differentiation, we propose a novel strategy to train interpretable
CNNs by encouraging class-specific filters, among which each filter responds to
only one (or few) class. Concretely, we design a learnable sparse
Class-Specific Gate (CSG) structure to assign each filter with one (or few)
class in a flexible way. The gate allows a filter's activation to pass only
when the input samples come from the specific class. Extensive experiments
demonstrate the fabulous performance of our method in generating a sparse and
highly class-related representation of the input, which leads to stronger
interpretability. Moreover, comparing with the standard training strategy, our
model displays benefits in applications like object localization and
adversarial sample detection. Code link: https://github.com/hyliang96/CSGCNN.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、様々なタスクでうまく使われている。
しかし、CNNはしばしば「ブラックボックス」と見なされ、解釈性がない。
主な理由はフィルタクラスの絡み合い(フィルタとクラスの間の複雑な多対多対応)のためである。
既存の作品の多くは、事前訓練されたモデルでポストホックな解釈を試みるが、モデルの根底にある絡み合いを減らすことを怠る。
対照的に,訓練中のフィルタクラス絡み合いの緩和に注目する。
細胞分化に触発されて,各フィルタが1つの(または少数)クラスにのみ応答する,クラス固有のフィルタを奨励することで,解釈可能なCNNを訓練する新しい手法を提案する。
具体的には、学習可能なスパースクラス特化ゲート(CSG)構造を設計し、各フィルタを柔軟に1つの(または少数)クラスに割り当てる。
ゲートは、入力サンプルが特定のクラスから来たときにのみフィルタのアクティベーションをパスする。
広範な実験により,入力の疎結合なクラス関連表現を生成する手法の性能が実証され,解釈性が向上した。
さらに, 標準訓練戦略と比較すると, 対象の局所化や逆サンプル検出といった応用上の利点を示す。
コードリンク:https://github.com/hyliang96/CSGCNN
関連論文リスト
- PICNN: A Pathway towards Interpretable Convolutional Neural Networks [12.31424771480963]
フィルタと画像のクラス間の絡み合いを軽減する新しい経路を導入する。
我々はBernoulliサンプリングを用いて、学習可能なフィルタクラス対応行列からフィルタクラスタ割り当て行列を生成する。
提案手法の有効性を,広く使用されている10のネットワークアーキテクチャ上で評価する。
論文 参考訳（メタデータ） (2023-12-19T11:36:03Z) - The Power of Linear Combinations: Learning with Random Convolutions [2.0305676256390934]
現代のCNNは、ランダムな(空間的な)畳み込みフィルタを更新することなく、高いテスト精度を達成することができる。
これらのランダムフィルタの組み合わせは、結果の操作を暗黙的に正規化することができる。
私たちは3ドル3セントの畳み込みを学習することで比較的小さな利益しか得られないが、学習率はカーネルサイズに比例して増加する。
論文 参考訳（メタデータ） (2023-01-26T19:17:10Z) - Gabor is Enough: Interpretable Deep Denoising with a Gabor Synthesis
Dictionary Prior [6.297103076360578]
ガバーライクなフィルタはCNN分類器の初期層や低レベルの画像処理ネットワークで観測されている。
本研究では,自然像のCNNのフィルタを2次元実ガボルフィルタで学習するために,この観察を極端かつ明示的に制限する。
提案したネットワーク(GDLNet)は,一般的な完全畳み込みニューラルネットワークにおいて,最先端のデノゲーション性能を実現することができる。
論文 参考訳（メタデータ） (2022-04-23T22:21:54Z) - CNN Filter DB: An Empirical Investigation of Trained Convolutional
Filters [2.0305676256390934]
モデル事前学習は、サイズと分散条件を満たす場合、任意のデータセットで成功することを示す。
事前学習された多くのモデルには、劣化したフィルタが含まれており、それによって、より堅牢で、ターゲットアプリケーションの微調整に適さないことが示される。
論文 参考訳（メタデータ） (2022-03-29T08:25:42Z) - Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。
本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。
ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
論文 参考訳（メタデータ） (2021-09-20T06:07:14Z) - Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。
提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
論文 参考訳（メタデータ） (2021-04-26T19:31:21Z) - Filter Grafting for Deep Neural Networks: Reason, Method, and
Cultivation [86.91324735966766]
フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである
本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。
我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
論文 参考訳（メタデータ） (2020-04-26T08:36:26Z) - Filter Grafting for Deep Neural Networks [71.39169475500324]
ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト
我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。
例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
論文 参考訳（メタデータ） (2020-01-15T03:18:57Z) - FrequentNet: A Novel Interpretable Deep Learning Model for Image
Classification [1.7205106391379026]
本稿では,画像分類の利点を活かした新しいベースライン深層学習モデルを提案する。
PCANet: A Simple Deep Learning Baseline for Image Classification?
論文 参考訳（メタデータ） (2020-01-04T04:31:32Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。