論文の概要: SAM: The Sensitivity of Attribution Methods to Hyperparameters

• arxiv url: http://arxiv.org/abs/2003.08754v2
• Date: Mon, 13 Apr 2020 03:32:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 12:42:41.741586
• Title: SAM: The Sensitivity of Attribution Methods to Hyperparameters
• Title（参考訳）: SAM:ハイパーパラメータへの属性法の感度
• Authors: Naman Bansal, Chirag Agarwal, Anh Nguyen
• Abstract要約: 説明手法の重要なデシプラタムは、しばしばランダムに設定または経験的に調整されるハイパーパラメータ入力の堅牢性である。 本稿では,既存属性法の感度に関する実験的検討を行った。
• 参考スコア（独自算出の注目度）: 13.145335512841557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attribution methods can provide powerful insights into the reasons for a classifier's decision. We argue that a key desideratum of an explanation method is its robustness to input hyperparameters which are often randomly set or empirically tuned. High sensitivity to arbitrary hyperparameter choices does not only impede reproducibility but also questions the correctness of an explanation and impairs the trust of end-users. In this paper, we provide a thorough empirical study on the sensitivity of existing attribution methods. We found an alarming trend that many methods are highly sensitive to changes in their common hyperparameters e.g. even changing a random seed can yield a different explanation! Interestingly, such sensitivity is not reflected in the average explanation accuracy scores over the dataset as commonly reported in the literature. In addition, explanations generated for robust classifiers (i.e. which are trained to be invariant to pixel-wise perturbations) are surprisingly more robust than those generated for regular classifiers.
• Abstract（参考訳）: アトリビューションメソッドは、分類器の決定の理由に関する強力な洞察を提供することができる。 説明手法の重要なデシプラタムは、しばしばランダムに設定または経験的に調整されるハイパーパラメータ入力の堅牢性である。 任意のハイパーパラメータの選択に対する高い感度は再現性を妨げるだけでなく、説明の正確性にも疑問を呈し、エンドユーザの信頼を損なう。 本稿では,既存の帰属法の感度に関する徹底的な実証研究を行う。 私たちは、多くのメソッドが共通のハイパーパラメータの変化に非常に敏感である、例えばランダムなシードの変更でさえ、異なる説明をもたらす可能性がある、という警告の傾向を発見した。 興味深いことに、この感度は、文献で一般的に報告されているように、データセット上の平均説明精度スコアには反映されない。 さらに、ロバストな分類器(つまり、ピクセル毎の摂動に不変であるように訓練された)で生成される説明は、通常の分類器で生成された説明よりも驚くほど堅牢である。

関連論文リスト

• Classification under Nuisance Parameters and Generalized Label Shift in Likelihood-Free Inference [3.507509142413452]
  本稿では,不確実性定量化のための新しい手法を提案する。 提案手法は,ドメイン適応能力を持つ事前学習型分類器を効果的に提供し,高出力を維持しながら有効な予測セットを返却する。 現実的な力学モデルから得られたデータを用いて、生物学と天体物理学における2つの挑戦的な科学的問題に対して、その性能を実証する。
  論文  参考訳（メタデータ） (2024-02-08T00:12:18Z)
• Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
  Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。 LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。 Invariant Learning (EVIL) における変数探索手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:10:57Z)
• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
  敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。 ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。 実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-09-07T12:02:00Z)
• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)
• Shortcomings of Top-Down Randomization-Based Sanity Checks for Evaluations of Deep Neural Network Explanations [67.40641255908443]
  モデルランダム化に基づく正当性チェックの限界を,説明書の評価のために同定する。 トップダウンモデルランダム化は、フォワードパスアクティベーションのスケールを高い確率で保存する。
  論文  参考訳（メタデータ） (2022-11-22T18:52:38Z)
• Parameter Averaging for Robust Explainability [5.032906900691182]
  本稿では,XTab と呼ばれる表層データ設定におけるロバストな説明可能性を考慮したパラメータ平均化手法を提案する。 提案手法は,様々な実データおよび合成データに対して広範な実験を行い,提案手法が特徴選択に有効であること,および準最適モデルの初期化に敏感でない大域的特徴量を得ることができることを実証した。
  論文  参考訳（メタデータ） (2022-08-05T16:00:07Z)
• More Than Words: Towards Better Quality Interpretations of Text Classifiers [16.66535643383862]
  MLモデルの入力インタフェースを考えると、トークンベースの解釈性は便利な第1選択であるが、あらゆる状況において最も効果的ではないことを示す。 1)ランダム化テストにより測定されるほど頑健であり,2)SHAPのような近似に基づく手法を用いた場合の変動性が低く,3)言語的コヒーレンスがより高い水準にある場合の人間には理解できない。
  論文  参考訳（メタデータ） (2021-12-23T10:18:50Z)
• Deterministic Certification to Adversarial Attacks via Bernstein Polynomial Approximation [5.392822954974537]
  ランダム化された平滑化は、高い確率で$ell$標準敵攻撃に対する最先端の証明可能な堅牢性を確立している。 自然の精度を維持しながらランダム化せずにスムーズな分類器を構築することは可能か? 本手法は,決定境界平滑化のための決定論的アルゴリズムを提供する。 また、非線形方程式系の数値解を通したノルム非独立性証明ロバストネスの特異なアプローチも導入する。
  論文  参考訳（メタデータ） (2020-11-28T08:27:42Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。