論文の概要: Understanding of Kernels in CNN Models by Suppressing Irrelevant Visual Features in Images

• arxiv url: http://arxiv.org/abs/2108.11054v1
• Date: Wed, 25 Aug 2021 05:48:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-26 13:01:13.817148
• Title: Understanding of Kernels in CNN Models by Suppressing Irrelevant Visual Features in Images
• Title（参考訳）: 画像中の不適切な視覚特徴の抑制によるCNNモデルのカーネル理解
• Authors: Jia-Xin Zhuang, Wanying Tao, Jianfei Xing, Wei Shi, Ruixuan Wang, Wei-shi Zheng
• Abstract要約: 畳み込みニューラルネットワーク(CNN)におけるカーネルの正確な解釈の欠如は、実際のシナリオにおけるディープラーニングモデルの広範な応用に対する大きな障害である。 CNNモデルにおける任意のカーネルの活性化を解釈するために、単純で効果的な最適化法を提案する。
• 参考スコア（独自算出の注目度）: 55.60727570036073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models have shown their superior performance in various vision tasks. However, the lack of precisely interpreting kernels in convolutional neural networks (CNNs) is becoming one main obstacle to wide applications of deep learning models in real scenarios. Although existing interpretation methods may find certain visual patterns which are associated with the activation of a specific kernel, those visual patterns may not be specific or comprehensive enough for interpretation of a specific activation of kernel of interest. In this paper, a simple yet effective optimization method is proposed to interpret the activation of any kernel of interest in CNN models. The basic idea is to simultaneously preserve the activation of the specific kernel and suppress the activation of all other kernels at the same layer. In this way, only visual information relevant to the activation of the specific kernel is remained in the input. Consistent visual information from multiple modified inputs would help users understand what kind of features are specifically associated with specific kernel. Comprehensive evaluation shows that the proposed method can help better interpret activation of specific kernels than widely used methods, even when two kernels have very similar activation regions from the same input image.
• Abstract（参考訳）: ディープラーニングモデルは、様々な視覚タスクにおいて優れたパフォーマンスを示している。 しかし、畳み込みニューラルネットワーク(cnns)におけるカーネルの正確な解釈の欠如は、実際のシナリオにおけるディープラーニングモデルの幅広い応用において大きな障害となっている。 既存の解釈方法は特定のカーネルのアクティベーションに関連する特定のビジュアルパターンを見つけることができるが、それらのビジュアルパターンは特定のカーネルの特定のアクティベーションを解釈するのに十分なほど具体的でも包括的でもないかもしれない。 本稿では,cnnモデルにおける任意のカーネルの活性化を解釈するために,単純かつ効果的な最適化手法を提案する。 基本的な考え方は、特定のカーネルの活性化を同時に保存し、同じレイヤで他のすべてのカーネルの活性化を抑制することである。 このようにして、特定のカーネルの活性化に関連する視覚情報のみが入力に残される。 複数の変更された入力からの一貫したビジュアル情報は、ユーザが特定のカーネルに具体的に関連する機能を理解するのに役立ちます。 包括的評価により,2つのカーネルが同一の入力画像から非常によく似た活性化領域を持つ場合でも,特定のカーネルの活性化をよりよく解釈できることがわかった。

関連論文リスト

• Operator theory, kernels, and Feedforward Neural Networks [0.0]
  複数の層フィードフォワードニューラルネットワークモデルに対するアルゴリズム解析において,正定値カーネルの特定のファミリーが強力なツールであることを示す。 我々の焦点は、スケーリングのフィードフォワードイテレーションで固有の自己相似性を示すデータセット/機能のための学習アルゴリズムに順応する特定のカーネルに焦点を当てている。
  論文  参考訳（メタデータ） (2023-01-03T19:30:31Z)
• Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
  自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。 我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。 カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
  論文  参考訳（メタデータ） (2022-09-29T15:53:19Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Kernel Continual Learning [117.79080100313722]
  カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。 エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。 タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
  論文  参考訳（メタデータ） (2021-07-12T22:09:30Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Neural Generalization of Multiple Kernel Learning [2.064612766965483]
  マルチカーネル学習は、カーネルベースの手法でカーネル関数を学習する従来の方法である。 ディープラーニングモデルは、複数の層を通してデータに非線形変換を適用することで、複雑な関数を学習することができる。 典型的なMKLアルゴリズムは線形活性化関数を持つ一層ニューラルネットワークとして解釈可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-26T07:28:37Z)
• On Approximation in Deep Convolutional Networks: a Kernel Perspective [12.284934135116515]
  画像や音声などの高次元データを含むタスクにおける深層畳み込みネットワークの成功について検討する。 多層畳み込み核を検討し、カーネル方式のレンズを通して理論的・実証的に検討する。 入力パッチで動作する表現型カーネルは第1層では重要であるが、より単純なカーネルは高い層で十分性能を保ち得る。
  論文  参考訳（メタデータ） (2021-02-19T17:03:42Z)
• Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
  多視点問題は潜在変数モデルに直面することができる。 高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。 両アプローチを単一モデルにマージすることを提案する。
  論文  参考訳（メタデータ） (2020-06-01T14:25:38Z)
• Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite Networks [12.692279981822011]
  指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。 我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。 これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
  論文  参考訳（メタデータ） (2020-02-20T01:25:39Z)
• Learning Class Regularized Features for Action Recognition [68.90994813947405]
  本稿では,階層活性化のクラスベース正規化を行うクラス正規化手法を提案する。 動作認識に最先端CNNアーキテクチャのクラス正規化ブロックを用いることで,Kineetics,UCF-101,HMDB-51データセットにおいて,それぞれ1.8%,1.2%,1.4%の体系的改善が得られた。
  論文  参考訳（メタデータ） (2020-02-07T07:27:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。