論文の概要: Attribution Mask: Filtering Out Irrelevant Features By Recursively
Focusing Attention on Inputs of DNNs
- arxiv url: http://arxiv.org/abs/2102.07332v1
- Date: Mon, 15 Feb 2021 04:12:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-16 16:07:36.967520
- Title: Attribution Mask: Filtering Out Irrelevant Features By Recursively
Focusing Attention on Inputs of DNNs
- Title（参考訳）: アトリビューションマスク:dnnの入力に再帰的に注意を向けることによる無関係な特徴のフィルタリング
- Authors: Jae-Hong Lee, Joon-Hyuk Chang
- Abstract要約: 属性法は、入力特徴の重要な部分を強調することで、ディープニューラルネットワーク(DNN)の予測を視覚的に説明する属性を計算する。
本研究では,入力特徴の無関係部分をフィルタリングする属性を用いて,事前学習したDNNの分類精度を測定し,本手法の有効性を検証する。
- 参考スコア（独自算出の注目度）: 13.960152426268769
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attribution methods calculate attributions that visually explain the
predictions of deep neural networks (DNNs) by highlighting important parts of
the input features. In particular, gradient-based attribution (GBA) methods are
widely used because they can be easily implemented through automatic
differentiation. In this study, we use the attributions that filter out
irrelevant parts of the input features and then verify the effectiveness of
this approach by measuring the classification accuracy of a pre-trained DNN.
This is achieved by calculating and applying an \textit{attribution mask} to
the input features and subsequently introducing the masked features to the DNN,
for which the mask is designed to recursively focus attention on the parts of
the input related to the target label. The accuracy is enhanced under a certain
condition, i.e., \textit{no implicit bias}, which can be derived based on our
theoretical insight into compressing the DNN into a single-layer neural
network. We also provide Gradient\,*\,Sign-of-Input (GxSI) to obtain the
attribution mask that further improves the accuracy. As an example, on CIFAR-10
that is modified using the attribution mask obtained from GxSI, we achieve the
accuracy ranging from 99.8\% to 99.9\% without additional training.
- Abstract（参考訳）: 属性法は、入力特徴の重要な部分を強調することで、ディープニューラルネットワーク(DNN)の予測を視覚的に説明する属性を計算する。
特にgba(gradient-based attribution)法は自動微分によって容易に実装できるため広く用いられている。
本研究では,入力特徴の無関係部分をフィルタリングする属性を用いて,事前学習したDNNの分類精度を測定し,本手法の有効性を検証する。
これは、入力特徴に対して \textit{attribution mask} を計算して適用し、その後、マスクがターゲットラベルに関連する入力部分に対して再帰的に注意を集中するように設計されたDNNにマスク付き特徴を導入することで達成される。
精度は、特定の条件、すなわち、DNNを単層ニューラルネットワークに圧縮する理論的な洞察に基づいて導き出すことができる「textit{no implicit bias}」の下で向上される。
また、精度をさらに向上する属性マスクを得るために、Gradient\,*\,Sign-of-Input (GxSI) も提供する。
例えば、GxSIから得られた属性マスクを用いて修正されたCIFAR-10では、追加トレーニングなしで99.8\%から99.9\%の精度が得られる。
関連論文リスト
- SMOOT: Saliency Guided Mask Optimized Online Training [3.024318849346373]
Saliency-Guided Training (SGT) 手法は、出力に基づいてモデルのトレーニングで顕著な特徴を強調しようとする。
SGTは入力を部分的にマスキングすることで、モデルの最終的な結果をより解釈できるようにする。
本稿では,トレーニング中の入力,精度,モデル損失に基づいて,マスク画像の最適個数を推定する手法を提案する。
論文 参考訳（メタデータ） (2023-10-01T19:41:49Z) - Towards Improved Input Masking for Convolutional Neural Networks [66.99060157800403]
層マスキングと呼ぶCNNのための新しいマスキング手法を提案する。
本手法は,マスク形状や色がモデル出力に与える影響を排除あるいは最小化することができることを示す。
また,マスクの形状がクラスに関する情報を漏洩させる可能性を示し,クラス関連特徴に対するモデル依存度の推定に影響を及ぼすことを示した。
論文 参考訳（メタデータ） (2022-11-26T19:31:49Z) - Batch Normalization Tells You Which Filter is Important [49.903610684578716]
我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。
CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2021-12-02T12:04:59Z) - Fairness via Representation Neutralization [60.90373932844308]
フェアネスのための表現中立化(Representation Neutralization for Fairness, RNF)という新たな緩和手法を提案する。
RNFは、DNNモデルのタスク固有の分類ヘッダのみをデバイアスすることで、その公平性を達成する。
複数のベンチマークデータセットに対する実験結果は、DNNモデルの識別を効果的に削減するRNFフレームワークを実証している。
論文 参考訳（メタデータ） (2021-06-23T22:26:29Z) - DAAIN: Detection of Anomalous and Adversarial Input using Normalizing
Flows [52.31831255787147]
我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。
本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。
当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
論文 参考訳（メタデータ） (2021-05-30T22:07:13Z) - Implementing a foveal-pit inspired filter in a Spiking Convolutional
Neural Network: a preliminary study [0.0]
我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。
このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。
ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
論文 参考訳（メタデータ） (2021-05-29T15:28:30Z) - Face Attributes as Cues for Deep Face Recognition Understanding [4.132205118175555]
可変選択手法を用いて,隠れレイヤを用いて顔属性を予測する。
性別、眼鏡、帽子の使用は、1つの神経出力だけを使用して各属性を予測しても96%以上の精度で予測できます。
顔の識別に最適化されたDCNNの内部には、これらの属性に最適化されたDCNNとほぼ同じ精度で顔属性をコードする潜在ニューロンが存在することを示す。
論文 参考訳（メタデータ） (2021-05-14T19:54:24Z) - Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness [66.55719330810547]
任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。
符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。
私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
論文 参考訳（メタデータ） (2021-04-28T13:17:47Z) - Boundary-preserving Mask R-CNN [38.15409855290749]
マスクの局所化精度を向上させるため,概念的にシンプルで効果的なMask R-CNN(BMask R-CNN)を提案する。
BMask R-CNNは、オブジェクト境界とマスクが特徴融合ブロックを介して相互に学習される境界保存マスクヘッドを含む。
ベルとホイッスルがなければ、BMask R-CNNはCOCOデータセットに対してかなりの差でMask R-CNNを上回っている。
論文 参考訳（メタデータ） (2020-07-17T11:54:02Z) - Deep Feature Consistent Variational Autoencoder [46.25741696270528]
本稿では,変分オートエンコーダ(VAE)構築のための新しい手法を提案する。
ピクセル・バイ・ピクセル・ロスを使用する代わりに、入力とVAEの出力の深い特徴一貫性を強制する。
また,本手法は,顔表現の意味情報をキャプチャする潜在ベクトルを生成できることを示す。
論文 参考訳（メタデータ） (2016-10-02T15:48:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。