論文の概要: Corrupting Neuron Explanations of Deep Visual Features

• arxiv url: http://arxiv.org/abs/2310.16332v1
• Date: Wed, 25 Oct 2023 03:28:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 16:58:18.031483
• Title: Corrupting Neuron Explanations of Deep Visual Features
• Title（参考訳）: 深部視覚特徴の破壊的ニューロン説明
• Authors: Divyansh Srivastava, Tuomas Oikarinen, Tsui-Wei Weng
• Abstract要約: 我々は、統一パイプライン下でニューロン説明法の最初の解析を行う。 これらの説明は、ランダムノイズと、それらの探索データによく設計された摂動によって、著しく破損する可能性があることを示す。
• 参考スコア（独自算出の注目度）: 12.60006182894124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The inability of DNNs to explain their black-box behavior has led to a recent surge of explainability methods. However, there are growing concerns that these explainability methods are not robust and trustworthy. In this work, we perform the first robustness analysis of Neuron Explanation Methods under a unified pipeline and show that these explanations can be significantly corrupted by random noises and well-designed perturbations added to their probing data. We find that even adding small random noise with a standard deviation of 0.02 can already change the assigned concepts of up to 28% neurons in the deeper layers. Furthermore, we devise a novel corruption algorithm and show that our algorithm can manipulate the explanation of more than 80% neurons by poisoning less than 10% of probing data. This raises the concern of trusting Neuron Explanation Methods in real-life safety and fairness critical applications.
• Abstract（参考訳）: DNNがブラックボックスの動作を説明できないことが最近の説明可能性手法の急増につながっている。 しかし、これらの説明可能性の方法が堅牢で信頼できるものではないという懸念が高まっている。 本研究は,ニューロン説明法の最初のロバスト性解析を行い,これらの説明はランダムなノイズと,それらの探索データに適切に設計された摂動によって著しく損なわれることを示す。 0.02の標準偏差で小さなランダムノイズを付加しても、より深い層に最大28%のニューロンが割り当てられた概念を変更できることがわかった。 さらに, 新たな汚職アルゴリズムを考案し, 探索データの10%未満を汚染することにより, 80%以上のニューロンの説明を操作可能であることを示す。 これにより、実生活の安全と公正なクリティカルな応用においてニューロン説明法を信頼することへの懸念が高まる。

関連論文リスト

• Confidence Regulation Neurons in Language Models [91.90337752432075]
  本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
  論文  参考訳（メタデータ） (2024-06-24T01:31:03Z)
• Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
  人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。 モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。 BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
  論文  参考訳（メタデータ） (2023-07-04T16:45:21Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural Networks [94.63547069706459]
  #DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。 違反の正確な数を返す新しい手法を提案する。 安全クリティカルなベンチマークのセットに関する実験結果を示す。
  論文  参考訳（メタデータ） (2023-01-17T18:32:01Z)
• NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical Development Patterns of Preterm Infants [73.85768093666582]
  我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。 NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
  論文  参考訳（メタデータ） (2023-01-01T12:48:12Z)
• Robust Explanation Constraints for Neural Networks [33.14373978947437]
  ニューラルネットワークの意図で使われるポストホックな説明法は、しばしば彼らの出力を信頼するのに役立つと言われている。 我々のトレーニング方法は、ニューラルネットワークを学習できる唯一の方法であり、6つのテストネットワークでテストされた堅牢性に関する洞察を持つ。
  論文  参考訳（メタデータ） (2022-12-16T14:40:25Z)
• Look beyond labels: Incorporating functional summary information in Bayesian neural networks [11.874130244353253]
  予測確率に関する要約情報を組み込むための簡単な手法を提案する。 利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。 本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
  論文  参考訳（メタデータ） (2022-07-04T07:06:45Z)
• Robustness of Explanation Methods for NLP Models [5.191443390565865]
  説明手法は、ニューラルネットワークの予測に責任を負う特徴を強調する重要なツールとして登場した。 多くの説明手法は信頼性が低く、悪意のある操作に影響を受けやすいという証拠が増えている。 テキスト説明に対する敵攻撃を成功させるための最初の洞察と結果を提供する。
  論文  参考訳（メタデータ） (2022-06-24T13:34:07Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Bayesian Neural Networks [0.0]
  ニューラルネットワークによる予測におけるエラーを原理的に得る方法を示し、これらのエラーを特徴付ける2つの方法を提案する。 さらに、これらの2つのメソッドが実際に実施される際に、重大な落とし穴を持つ方法についても説明します。
  論文  参考訳（メタデータ） (2020-06-02T09:43:00Z)
• Deep Bayesian Gaussian Processes for Uncertainty Estimation in Electronic Health Records [30.65770563934045]
  我々はディープ・ベイズ学習フレームワークの特徴とディープ・カーネル・ラーニングを融合させ、より包括的な不確実性推定に両手法の強みを活用する。 我々は,不均衡なデータセットにおけるマイノリティクラスにおいて,過度に信頼された予測を行うことに対して,我々の手法はより感受性が低いことを示す。
  論文  参考訳（メタデータ） (2020-03-23T10:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。