論文の概要: Improving Network Interpretability via Explanation Consistency Evaluation

• arxiv url: http://arxiv.org/abs/2408.04600v1
• Date: Thu, 8 Aug 2024 17:20:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 14:48:21.053011
• Title: Improving Network Interpretability via Explanation Consistency Evaluation
• Title（参考訳）: 説明整合性評価によるネットワーク解釈可能性の向上
• Authors: Hefeng Wu, Hao Jiang, Keze Wang, Ziyi Tang, Xianghuan He, Liang Lin,
• Abstract要約: 本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
• 参考スコア（独自算出の注目度）: 56.14036428778861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep neural networks have achieved remarkable performance, they tend to lack transparency in prediction. The pursuit of greater interpretability in neural networks often results in a degradation of their original performance. Some works strive to improve both interpretability and performance, but they primarily depend on meticulously imposed conditions. In this paper, we propose a simple yet effective framework that acquires more explainable activation heatmaps and simultaneously increase the model performance, without the need for any extra supervision. Specifically, our concise framework introduces a new metric, i.e., explanation consistency, to reweight the training samples adaptively in model learning. The explanation consistency metric is utilized to measure the similarity between the model's visual explanations of the original samples and those of semantic-preserved adversarial samples, whose background regions are perturbed by using image adversarial attack techniques. Our framework then promotes the model learning by paying closer attention to those training samples with a high difference in explanations (i.e., low explanation consistency), for which the current model cannot provide robust interpretations. Comprehensive experimental results on various benchmarks demonstrate the superiority of our framework in multiple aspects, including higher recognition accuracy, greater data debiasing capability, stronger network robustness, and more precise localization ability on both regular networks and interpretable networks. We also provide extensive ablation studies and qualitative analyses to unveil the detailed contribution of each component.
• Abstract（参考訳）: ディープニューラルネットワークは目覚ましい性能を達成したが、予測に透明性が欠けている傾向にある。 ニューラルネットワークにおけるより大きな解釈可能性の追求は、しばしば元の性能を低下させる。 いくつかの研究は解釈可能性と性能の両方を改善しようとしているが、それらは主に慎重に課された条件に依存している。 本稿では、より説明可能なアクティベーションヒートマップを取得し、余分な監督を必要とせずにモデル性能を同時に向上する、シンプルで効果的なフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けする新しい指標、すなわち説明整合性を導入する。 説明整合度測定は, 画像対向攻撃手法を用いて背景領域を乱した, モデルによる原サンプルの視覚的説明と意味保存された対向サンプルの類似度を測定するために用いられる。 そして,本フレームワークは,従来のモデルでは堅牢な解釈が得られないような,説明の相違(低説明整合性)の高いトレーニングサンプルに注意を払って,モデル学習を促進する。 各種ベンチマークにおける総合的な実験結果から,認識精度の向上,データデバイアス能力の向上,ネットワークの堅牢性の向上,正規ネットワークと解釈可能なネットワーク上でのより正確なローカライゼーション能力など,さまざまな面でフレームワークの優位性を示す。 また, 各成分の詳細な寄与を明らかにするために, 広範囲にわたるアブレーション研究と定性的分析を行った。

関連論文リスト

• Outliers with Opposing Signals Have an Outsized Effect on Neural Network Optimization [36.72245290832128]
  自然データにおける深度とヘビーテール構造との相互作用から生じるニューラルネットワーク最適化の新たな現象を同定する。 特に、プログレッシブ・シャープニングと安定性の端について、概念的に新しい原因を示唆している。 強い反対信号を持つトレーニングデータにおいて,2組のオフレーヤ群が有意な影響を示した。
  論文  参考訳（メタデータ） (2023-11-07T17:43:50Z)
• Probabilistic Self-supervised Learning via Scoring Rules Minimization [19.347097627898876]
  本稿では,Scoring Rule Minimization (ProSMIN) を用いた確率論的自己教師型学習を提案する。 提案手法は,大規模データセットを用いた多種多様な実験において,自己教師付きベースラインを超える精度とキャリブレーションを実現する。
  論文  参考訳（メタデータ） (2023-09-05T08:48:25Z)
• Understanding Robust Learning through the Lens of Representation Similarities [37.66877172364004]
  ディープニューラルネットワーク(DNN)の望ましい性質として、敵の例に対するロバストさが出現した 本稿では,頑健な学習によって学習される表現の性質が,標準的非破壊的学習から得られた表現とどのように異なるかを理解することを目的とする。
  論文  参考訳（メタデータ） (2022-06-20T16:06:20Z)
• Explaining, Evaluating and Enhancing Neural Networks' Learned Representations [2.1485350418225244]
  より効率的で効率的な表現への障害ではなく、いかに説明可能性が助けになるかを示す。 我々は,2つの新しいスコアを定義して,潜伏埋め込みの難易度と難易度を評価する。 表現学習課題の訓練において,提案したスコアを制約として採用することで,モデルの下流性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T19:00:01Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
  近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。 本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T08:30:16Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。